概要#

• 正則でないモデル（例えばDeep Learningのような複雑なモデル）でも使えるようにAICを一般化したのがWAIC

• そのように一般化したベイズが渡辺ベイズ

• 代数幾何学を利用する

正則性#

$K(\theta )=0$となる$\theta$の集合を${\mathrm{\Theta }}_{\ast }$とする。

以下3つの条件を満たすとき、正則であるという

1. ${\mathrm{\Theta }}_{\ast }$の要素${\theta }_{\ast }$が単一

2. $\theta$のヘッセ行列

正則性#

以下2つを満たすとき$q(x)$は$p(x|\theta )$に対して正則であるという

1. 平均対数損失関数を最小にするパラメータの集合${\mathrm{\Theta }}^{\ast }=\{\theta \in \mathrm{\Theta }|L(\theta )\mathrm{が}\mathrm{最}\mathrm{小}\mathrm{値}\mathrm{を}\mathrm{と}\mathrm{る}\}$について、集合${\mathrm{\Theta }}^{\ast }$の要素が${\theta }^{\ast }$の1つだけである

2. ${\theta }^{\ast }$のヘッセ行列${\mathrm{\nabla }}^{2}L({\theta }^{\ast })$が正則（固有値が全て正の値）である

正則でない関数の例#

• 最適解が複数→凸でない

• 2回微分できない

$$\begin{array}{r}f(x)=x^4\\ f^{\prime }(x)=4x^3\\ f^{″}(x)=12x^2\end{array}$$

$f(x)=x^4$は$f^{″}(0)=0$で

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-1, 1, 100)
y = x**4

plt.plot(x, y)

[<matplotlib.lines.Line2D at 0x7faefd115090>]

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-1, 1, 100)
y = 4*x**3

plt.plot(x, y)

[<matplotlib.lines.Line2D at 0x7faefd1fe9e0>]

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-1, 1, 100)
y = 12*x**2

plt.plot(x, y)

[<matplotlib.lines.Line2D at 0x7faefcd8b370>]

事後平均、事後分散#

渡辺ベイズで出てくる大事な量

$p(x|\theta )$の事後平均（予測分布） $$r(x\mid x_1,\dots ,x_n)={\int }_{\mathrm{\Theta }}\{p(x\mid \theta )\}p(\theta \mid x_1,\dots ,x_n)d\theta$$$-\log p(x|\theta)$\mathrm{の}\mathrm{事}\mathrm{後}\mathrm{平}\mathrm{均}、\mathrm{事}\mathrm{後}\mathrm{分}\mathrm{散}$$\begin{array}{rl}\mathcal{E}(x)& :={\int }_{\mathrm{\Theta }}\{-\log p(x\mid \theta )\}p(\theta \mid x_1,\dots ,x_n)d\theta \\ \mathcal{V}(x)& :={\int }_{\mathrm{\Theta }}\{-\log p(x\mid \theta )-\mathcal{E}(x){\}}^{2}p(\theta \mid x_1,\dots ,x_n)d\theta \end{array}$$

汎化損失#

WAIC#

WAIC = 経験損失$T_n$+事後分散の平均値$V_n/n$ $$\begin{array}{c}\mathcal{E}(x)={\int }_{\mathrm{\Theta }}\{-\log p(x\mid \theta )\}p(\theta \mid x_1,\dots ,x_n)d\theta \\ \mathcal{V}(x)={\int }_{\mathrm{\Theta }}\{-\log p(x\mid \theta )-\mathcal{E}(x){\}}^{2}p(\theta \mid x_1,\dots ,x_n)d\theta \\ V_n:=\sum _{i=1}^n\mathcal{V}\left(x_i\right)\\ WAIC:=T_n+\frac{V_n}{n}\end{array}$$

「渡辺ベイズはベイズじゃない」という批判#

こういう本がでるのはいいことだけど、またこういう間違った認識が広がるのは辟易する。WAIC/WBICは頻度論だから。

https://twitter.com/kenmcalinn/status/1705383267405615173