Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

AIC / BIC

尤度を用いる統計モデルについて、尤度に基づいてモデルの当てはまり（予測精度）の良さを相対比較することができる手法。

異なる分布を用いるモデル同士で比較することはできない。

定義

尤度をLL、自由母数の数をkkとすると

AIC:=−2ln⁡L+2k\begin{align} AIC &:= -2\ln L + 2k\\ \end{align}
(1)

あるいは

最尤推定量θ^(x1,…,xn)\hat{\theta}_{(x_1, \dots, x_n)}について

AIC:=∑i=1n−log⁡p(xi∣θ^(x1,…,xn))+dBIC:=∑i=1n−log⁡p(xi∣θ^(x1,…,xn))+d2log⁡n\begin{align} AIC &:= \sum^n_{i=1} - \log p(x_i | \hat{\theta}_{(x_1, \dots, x_n)} ) + d\\ BIC &:= \sum^n_{i=1} - \log p(x_i | \hat{\theta}_{(x_1, \dots, x_n)} ) + \frac{d}{2} \log n\\ \end{align}
(2)

KL情報量からの導出

カルバック・ライブラー情報量

KL[p(x)∣∣q(x)]=Ep[log⁡p(x)q(x)]=∫p(x)log⁡p(x)q(x)dxKL[p(x)||q(x)] = E_p\left[\log \frac{p(x)}{q(x)} \right] = \int p(x) \log \frac{p(x)}{q(x)} dx
(3)

CrossValidationとの一致性

統計モデリング
統計モデルの評価
統計モデリング
WAIC / WBIC / 渡辺ベイズ理論