Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

WAIC / WBIC / 渡辺ベイズ理論

概要

  • 正則でないモデル（例えばDeep Learningのような複雑なモデル）でも使えるようにAICを一般化したのがWAIC

  • そのように一般化したベイズが渡辺ベイズ

  • 代数幾何学を利用する

KL情報量

D(q∥p)=EX[log⁡q(X)p(X∣θ)]=∫Xq(x)log⁡q(X)p(X∣θ)dx≥0D(q\| p) = E_X \left[ \log \frac{ q(X) }{ p(X|\theta) } \right] = \int_{\mathcal{X}} q(x) \log \frac{q(X)}{p(X|\theta)} dx \geq 0
(1)
K(θ):=EX[log⁡p(X∣θ∗)p(X∣θ)]K(\theta) := E_X \left[ \log \frac{ p(X|\theta_*) }{ p(X|\theta) } \right]
(2)

正則性

K(θ)=0K(\theta)=0となるθ\thetaの集合をΘ∗\Theta_*とする。

以下3つの条件を満たすとき、正則であるという

  1. Θ∗\Theta_*の要素θ∗\theta_*が単一

  2. θ\thetaのヘッセ行列

正則性

以下2つを満たすときq(x)q(x)はp(x∣θ)p(x|\theta)に対して正則であるという

  1. 平均対数損失関数を最小にするパラメータの集合Θ∗={θ∈Θ∣L(θ)が最小値をとる}\Theta^* = \{ \theta \in \Theta | L(\theta) が最小値をとる \}について、集合Θ∗\Theta^*の要素がθ∗\theta^*の1つだけである

  2. θ∗\theta^*のヘッセ行列∇2L(θ∗)\nabla^2 L(\theta^*)が正則（固有値が全て正の値）である

正則でない関数の例

  • 最適解が複数→凸でない

  • 2回微分できない

f(x)=x4f′(x)=4x3f′′(x)=12x2f(x) = x^4\\ f'(x) = 4 x^3\\ f''(x) = 12 x^2
(3)

f(x)=x4f(x) = x^4はf′′(0)=0f''(0)=0で

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-1, 1, 100)
y = x**4

plt.plot(x, y)
<Figure size 640x480 with 1 Axes>
import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-1, 1, 100)
y = 4*x**3

plt.plot(x, y)
<Figure size 640x480 with 1 Axes>
import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-1, 1, 100)
y = 12*x**2

plt.plot(x, y)
<Figure size 640x480 with 1 Axes>

正則でない統計モデルの例

  • 混合正規分布

P(x∣a,b)=(1−a)12πexp⁡(−x22)+a12πexp⁡(−(x−b)22)P(x|a,b) = (1-a) \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right) + a \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(x-b)^2}{2}\right)
(4)

で最適解がa∗b∗=0a_* b_* =0のとき、KL情報量を最小化するθ=(a,b)∈Θ\theta=(a,b)\in\Thetaが一意に決まらない

正則性を仮定すると得られるもの

ニュートン法の確率収束

最尤推定のときに使われることが多いニュートン法でヘッセ行列が逆行列を持たず、漸化式が収束しない

θn→θ∗\theta_n \to \theta_*
(5)

漸近正規性

p(θ∣x1,…,xn)⟶ 法則収束 N(θ∗+Δn,1nJ−1)p\left(\theta \mid x_1, \ldots, x_n\right) \stackrel{\text { 法則収束 }}{\longrightarrow} N\left(\theta_*+\Delta_n, \frac{1}{n} J^{-1}\right)
(6)

法則収束：分布関数Fの連続点xで分布関数Fn(x)F_n(x)がF(x)F(x)に収束する（n→∞n\to \infty）

事後平均、事後分散

渡辺ベイズで出てくる大事な量

p(x∣θ)p(x|\theta)の事後平均（予測分布）

r(x∣x1,…,xn)=∫Θ{p(x∣θ)}p(θ∣x1,…,xn)dθr\left(x \mid x_1, \ldots, x_n\right)=\int_{\Theta}\{p(x \mid \theta)\} p\left(\theta \mid x_1, \ldots, x_n\right) d \theta
(7)

−log⁡p(x∣θ)-\log p(x|\theta)の事後平均、事後分散

E(x):=∫Θ{−log⁡p(x∣θ)}p(θ∣x1,…,xn)dθV(x):=∫Θ{−log⁡p(x∣θ)−E(x)}2p(θ∣x1,…,xn)dθ\begin{aligned} \mathcal{E}(x) & :=\int_{\Theta}\{-\log p(x \mid \theta)\} p\left(\theta \mid x_1, \ldots, x_n\right) d \theta \\ \mathcal{V}(x) & :=\int_{\Theta}\{-\log p(x \mid \theta)-\mathcal{E}(x)\}^2 p\left(\theta \mid x_1, \ldots, x_n\right) d \theta \end{aligned}
(8)

汎化損失

汎化損失

予測分布を負の対数とって期待値とる

Gn:=EX[−log⁡r(X∣x1,…,xn)]G_n :=\mathbb{E}_X\left[-\log r\left(X \mid x_1, \ldots, x_n\right)\right]
(9)

経験損失

Tn:=1n∑i=1n{−log⁡r(xi∣x1,…,xn)}T_n :=\frac{1}{n} \sum_{i=1}^n\left\{-\log r\left(x_i \mid x_1, \ldots, x_n\right)\right\}
(10)

正則性を仮定しなくても、次のようになる

Gn=EX[E(X)]−12EX[V(X)]+oP(1n)Tn=1n∑i=1nE(xi)−12n∑i=1nV(xi)+oP(1n)\begin{aligned} G_n & =\mathbb{E}_X[\mathcal{E}(X)]-\frac{1}{2} \mathbb{E}_X[\mathcal{V}(X)]+o_P\left(\frac{1}{n}\right) \\ T_n & =\frac{1}{n} \sum_{i=1}^n \mathcal{E}\left(x_i\right)-\frac{1}{2 n} \sum_{i=1}^n \mathcal{V}\left(x_i\right)+o_P\left(\frac{1}{n}\right) \end{aligned}
(11)

WAIC

WAIC = 経験損失TnT_n+事後分散の平均値Vn/nV_n/n

E(x)=∫Θ{−log⁡p(x∣θ)}p(θ∣x1,…,xn)dθV(x)=∫Θ{−log⁡p(x∣θ)−E(x)}2p(θ∣x1,…,xn)dθVn:=∑i=1nV(xi)WAIC:=Tn+Vnn\begin{gathered} \mathcal{E}(x)=\int_{\Theta}\{-\log p(x \mid \theta)\} p\left(\theta \mid x_1, \ldots, x_n\right) d \theta \\ \mathcal{V}(x)=\int_{\Theta}\{-\log p(x \mid \theta)-\mathcal{E}(x)\}^2 p\left(\theta \mid x_1, \ldots, x_n\right) d \theta \\ V_n:=\sum_{i=1}^n \mathcal{V}\left(x_i\right) \\ W A I C:=T_n+\frac{V_n}{n} \end{gathered}
(12)

相対的に有限な分散の範囲内でしかWAICは使えない

（100問の本7章）

実現可能

D(q∥p)=0D(q\| p)=0となるθ\thetaが存在するとき、qは{p(⋅∣θ)}θ∈Θ\{p(\cdot|\theta)\}_{\theta\in\Theta}で実現可能という

実質的にunique（同質）

p(x∣θ)=p(x∣θ′),x∈X,θ,θ′∈Θ∗p(x \mid \theta)=p\left(x \mid \theta^{\prime}\right), x \in \mathcal{X}, \theta, \theta^{\prime} \in \Theta_*
(13)

相対的に有限な分散をもつ

あるc>0が存在して、EX[{log⁡p(X∣θ∗)p(X∣θ)}2]≤cEX[log⁡p(X∣θ∗)p(X∣θ)],θ∈Θ,θ∗∈Θ∗あるc>0が存在して、 \mathbb{E}_X\left[\left\{\log \frac{p\left(X \mid \theta_*\right)}{p(X \mid \theta)}\right\}^2\right] \leq c \mathbb{E}_X\left[\log \frac{p\left(X \mid \theta_*\right)}{p(X \mid \theta)}\right], \theta \in \Theta, \theta_* \in \Theta_*
(14)

正則でないモデルであってもWAICは使えるが、相対的に有限な分散の範囲内でしかWAICは使えない

正則のとき、AIC≈WAICAIC\approx WAIC

正則のとき、漸近正規性から

Gn=EX[−log⁡p(X∣θ∗)]+12Δn⊤JΔnTn=1n∑i=1n−log⁡p(xi∣θ∗)−12Δn⊤JΔn\begin{aligned} G_n & =\mathbb{E}_X\left[-\log p\left(X \mid \theta_*\right)\right]+\frac{1}{2} \Delta_n^{\top} J \Delta_n \\ T_n & =\frac{1}{n} \sum_{i=1}^n-\log p\left(x_i \mid \theta_*\right)-\frac{1}{2} \Delta_n^{\top} J \Delta_n \end{aligned}
(15)

AICとの対応

EX[−log⁡p(X∣θ^(x1,…,xn))]=EX[−log⁡p(X∣θ∗)]+12Δn⊤JΔn∑i=1n−log⁡p(xi∣θ^(x1,…,xn))=1n∑i=1n−log⁡p(xi∣θ∗)−12Δn⊤JΔn\begin{aligned} \mathbb{E}_X\left[-\log p\left(X \mid \hat{\theta}\left(x_1, \ldots, x_n\right)\right)\right] & =\mathbb{E}_X\left[-\log p\left(X \mid \theta_*\right)\right]+\frac{1}{2} \Delta_n^{\top} J \Delta_n \\ \sum_{i=1}^n-\log p\left(x_i \mid \hat{\theta}\left(x_1, \ldots, x_n\right)\right) & =\frac{1}{n} \sum_{i=1}^n-\log p\left(x_i \mid \theta_*\right)-\frac{1}{2} \Delta_n^{\top} J \Delta_n \end{aligned}
(16)

「渡辺ベイズはベイズじゃない」という批判

こういう本がでるのはいいことだけど、またこういう間違った認識が広がるのは辟易する。WAIC/WBICは頻度論だから。

https://twitter.com/kenmcalinn/status/1705383267405615173

統計モデリング
AIC / BIC
統計モデリング
LOWESS