AIC / BIC#

尤度を用いる統計モデルについて、尤度に基づいてモデルの当てはまり（予測精度）の良さを相対比較することができる手法。

異なる分布を用いるモデル同士で比較することはできない。

定義#

尤度を$L$、自由母数の数を$k$とすると

$$\begin{array}{r}\begin{array}{rl}AIC& :=-2\ln L+2k\end{array}\end{array}$$

あるいは

最尤推定量${\hat{\theta }}_{(x_1,\dots ,x_n)}$について

$$\begin{array}{r}\begin{array}{rl}AIC& :=\sum _{i=1}^n-\log p(x_i|{\hat{\theta }}_{(x_1,\dots ,x_n)})+d\\ BIC& :=\sum _{i=1}^n-\log p(x_i|{\hat{\theta }}_{(x_1,\dots ,x_n)})+\frac{d}{2}\log n\end{array}\end{array}$$

KL情報量からの導出#

カルバック・ライブラー情報量

$$KL[p(x)||q(x)]=E_p[\log \frac{p(x)}{q(x)}]=\int p(x)\log \frac{p(x)}{q(x)}dx$$

CrossValidationとの一致性#

参考#

• RPubs - AIC, WAIC, WBICを実感する