AIC / BIC#
尤度を用いる統計モデルについて、尤度に基づいてモデルの当てはまり（予測精度）の良さを相対比較することができる手法。
異なる分布を用いるモデル同士で比較することはできない。
定義#
尤度を\(L\)、自由母数の数を\(k\)とすると
\[\begin{split}
\begin{align}
AIC &:= -2\ln L + 2k\\
\end{align}
\end{split}\]
あるいは
最尤推定量\(\hat{\theta}_{(x_1, \dots, x_n)}\)について
\[\begin{split}
\begin{align}
AIC &:= \sum^n_{i=1} - \log p(x_i | \hat{\theta}_{(x_1, \dots, x_n)} ) + d\\
BIC &:= \sum^n_{i=1} - \log p(x_i | \hat{\theta}_{(x_1, \dots, x_n)} ) + \frac{d}{2} \log n\\
\end{align}
\end{split}\]
KL情報量からの導出#
カルバック・ライブラー情報量
\[
KL[p(x)||q(x)]
= E_p\left[\log \frac{p(x)}{q(x)} \right] = \int p(x) \log \frac{p(x)}{q(x)} dx
\]