似ているけど異なる「最尤推定量」と「最尤推定値」の違い【確率統計】

ゴールデンウイークも残り僅かですね。

月曜日から始めた緑本ですが、休みを捧げた甲斐もあって、8章のMCMCとベイズ化のところまでは読み終え、Pythonでの実装まで試せました。

実装をブログに上げたいのですが、Jupyterで書いた数式をはてなにコピペすると上手く表示されず（はてなでtex記法を使う場合、はてな用のエスケープが必要だったりする）、デバッグにかなりの労力が必要なので、一旦諦めることにしました。後日、式を省いて記事にするか、GitHubに上げようかと考えています…。

話が逸れてしまいましたが、緑本を読んでいるときに「最尤推定量」と「最尤推定値」が頭の中でごっちゃになることがあったので、今日はその違いについて書きます（詳しくは緑本*1P.27参照）。

「最尤推定量」と「最尤推定値」の違い

※前提: 尤度や最尤推定が何なのかについては既知のものとします。

例えば、以下のような対数尤度関数を使ってパラメータ $\lambda$ を最尤推定をするとき、

$$\displaystyle \log L(\lambda) = \sum_{i}^{N} (y_i \log \lambda - \lambda - \sum_k^{y_i} \log k) \tag{1}$$

(1)を最大化する $\lambda \equiv \hat{\lambda}$ は、 $\frac{\partial \log L(\lambda)}{\partial\lambda}=0$ を解くことで求まり、$ \displaystyle \hat{\lambda} = \frac{1}{N}\sum_i y_i \tag{2}$となります。

ここで、

(1)および(2)を最尤推定量(maximum likelihood estimator)
最尤推定量に $\{ y_1, y_2, \cdots, y_N \} = \{ 2, 3, \cdots, 4 \}$ のような具体的な値を代入して、求められた値、例えば $\hat{\lambda} = 3.56$ などを最尤推定値(maximum likelihood estimate)

と呼びます。

（個人的には、緑本を読むまで(1)の対数尤度も最尤推定量と呼ぶのは知りませんでした…。）

ちなみに、これらの違いについて、心理統計の清水先生のブログに以下のような説明があります。

推定量と推定値の違い，わかりにくいですね。推定値は実際に推定されたパラメータの値です。一方，推定量とはパラメータを推定する計算式というか，手続きのことを指します。尤度を最大にするという理屈で求められたパラメータを計算するための式が最尤推定量，それによって実際に計算された値が最尤推定値，ということです。

似た名称で混合しがちなので、気をつけたいものです。