ダイバージェンス#

エントロピー#

エントロピー#

$$H(p)=-\int p(x)\log p(x)dx$$

交差エントロピー#

$$H(p,q)=-\int p(x)\log q(x)dx$$

Kullback-Leibler Divergance#

離散の場合

$$D_{KL}(P||Q)=\sum _{i}P(i)\log \frac{P(i)}{Q(i)}$$

連続の場合

$$D_{KL}(P||Q)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\log \frac{p(x)}{q(x)}dx$$

交差エントロピーとの関係#

$\log \frac{M}{N}=\log M-\log N$より、

$$\begin{array}{r}\begin{array}{rl}H(p,q)& =H(p)+D_{KL}(p||q)\\ & =-\int p(x)\log p(x)dx+\int p(x)\log \frac{p(x)}{q(x)}dx\\ & =-\int p(x)\log p(x)dx+\int p(x)\{\log p(x)-\log q(x)\}dx\\ & =-\underset{H(p)}{\underbrace{\int p(x)\log p(x)dx}}+\underset{H(p)}{\underbrace{\int p(x)\log p(x)dx}}-\underset{H(p,q)}{\underbrace{\int p(x)\log q(x)dx}}\end{array}\end{array}$$

$$\begin{array}{r}\begin{array}{rl}{D}_{KL}(p||q)& =H(p,q)-H(p)\\ & =-\int p(x)\log q(x)dx-\int p(x)\log p(x)dx\end{array}\end{array}$$

Density Power Divergence#

$\beta$-divergenceとも

KLダイバージェンスの拡張で、外れ値に頑健

Basu et al. (1998). Robust and efficient estimation by minimising a density power divergence. Biometrika, 85(3), 549-559.

$$\begin{array}{r}{D}_{\beta }(Q,P)=d_{\beta }(Q,P)-d_{\beta }(Q,Q)\\ d_{\beta }(Q,P)=-\frac{1}{\beta }\int p(x{)}^{\beta }dQ(x)+r\end{array}$$

積分を回避する案#

• paper: [2307.05251] A stochastic optimization approach to minimize robust density power-based divergences for general parametric density models

• 著者tweet: A. OkunoさんはTwitterを使っています: 「公開しました．ざっくりいうと，悪名高い累乗の積分項があり今まで正規分布や一部の確率モデルでしか最適化ができなかったロバストダイバージェンスを”一般の”確率モデルに対して最適化する方法を提案しています．個人的にはかなり非自明で，言われれば当たり前だけど，思いつくまで10年かかりました．」 / Twitter