ダイバージェンス#
エントロピー#
エントロピー#
\[
H(p) = - \int p(x) \log p(x) dx
\]
交差エントロピー#
\[
H(p, q) = - \int p(x) \log q(x) dx
\]
Kullback-Leibler Divergance#
離散の場合
\[
D_{KL} (P||Q) = \sum_i P(i) \log \frac{P(i)}{Q(i)}
\]
連続の場合
\[
D_{KL} (P||Q) = \int_{-\infty}^{\infty}
p(x) \log \frac{ p(x) } { q(x) } dx
\]
交差エントロピーとの関係#
\(\log \frac{M}{N} = \log M - \log N\)より、
\[\begin{split}
\begin{align}
H(p, q) &= H(p) + D_{KL}(p||q)
\\
&= - \int p(x) \log p(x) dx
+ \int p(x) \log \frac{ p(x) } { q(x) } dx\\
&= - \int p(x) \log p(x) dx
+ \int p(x) \big\{ \log p(x) - \log q(x) \big\} dx
\\
&= - \underbrace{ \int p(x) \log p(x) dx }_{ H(p) }
+ \underbrace{ \int p(x) \log p(x) dx }_{ H(p) }
- \underbrace{ \int p(x) \log q(x) dx }_{ H(p, q) }
\end{align}
\end{split}\]
\[\begin{split}
\begin{align}
D_{KL}(p||q) &= H(p, q) - H(p)\\
&= - \int p(x) \log q(x) dx
- \int p(x) \log p(x) dx
\end{align}
\end{split}\]
Density Power Divergence#
\(\beta\)-divergenceとも
KLダイバージェンスの拡張で、外れ値に頑健
\[\begin{split}
D_{\beta}(Q, P) = d_{\beta}(Q, P) - d_{\beta}(Q, Q)\\
d_{\beta}(Q, P) = - \frac{1}{\beta} \int p(x)^{\beta} dQ(x) + r
\end{split}\]