一致推定量と不偏推定量の違い

1. 一致推定量

サンプルサイズnは

$n \to \infty$

となるようにとります。このとき、「Nが無限大ならば」、1回のサンプリング(試行)で誤差εで一致推定量は母数に必ず一致します。

$\displaystyle\lim_{n \to \infty} P(\vert \theta - \hat{\theta} \vert \textless \varepsilon) = 1, \forall \varepsilon$

2. 不偏推定量

サンプルサイズnは固定します。(ここが決定的な違い!)

不偏性とは、推定量の期待値が母数に一致することです。これは固定したn次元での積分になります。

$E_{\theta}[\hat{\theta}] = \displaystyle\int \hat{\theta} f(x_1, ..., x_n \vert \theta) dx^n = \theta, \forall \theta$

比較してみます。

日本語で書くと似ていましたが、こうして比べると、全く別物であることが分かります。

実用上は、丸覚えするといいと思います。

1. 一致推定量

一致推定量=イプシロン・デルタ論法

と覚えるといい気がします。または、

一致推定量=確率収束

と丸覚えするのも良さそうです。

2. 不偏推定量

不偏推定量=期待値=積分

と覚えるといい気がします。

不偏推定量のほうは完全な等式で、確率的な要素はありません。