Wasserstein 距離（EMD）

Wasserstein 距離（ワッサースタイン距離）は、2つの確率分布 $P, Q$ の差を「確率質量を どれだけ・どれだけ遠くへ 移動させれば $P$ を $Q$ に変換できるか」という 最適輸送（Optimal Transport） の観点で定義する距離。

直感的には、分布を「土の山」とみなし、別の分布の形にするために土を運ぶときの 最小の運搬コスト を測る量であり、 Earth Mover’s Distance (EMD) とも呼ばれる。

（自然言語処理における「編集距離」に近いかも？）

定義¶

もっとも一般化された定義は $p$ -Wasserstein

距離空間 $(\mathcal{X}, \|\cdot\|)$ 上の確率分布 $P, Q$ に対し、
$p \ge 1$ とすると、 $p$ -Wasserstein 距離は次で定義される。

W_p(P, Q) = \left( \inf_{\gamma \in \Pi(P, Q)} \int_{\mathcal{X} \times \mathcal{X}} \|x - y\|^p \, d\gamma(x, y) \right)^{1/p}

実務・理論の両面で最もよく使われるのが 1次 Wasserstein 距離 （Wasserstein-1 distance）。

W_1(P, Q) = \inf_{\gamma \in \Pi(P, Q)} \int \|x - y\| \, d\gamma(x, y)

from scipy.stats import wasserstein_distance

p = [0, 1, 1]
q = [1, 0, 0]
wasserstein_distance(p, q)

0.3333333333333333

Wasserstein 距離は、次の性質をすべて満たす。

$W_1$ には重要な双対表現が存在する。

W_1(P, Q) = \sup_{\|f\|_{\mathrm{Lip}} \le 1} \left( \mathbb{E}_{P}[f(X)] - \mathbb{E}_{Q}[f(X)] \right)

KL ダイバージェンスは

D_{\mathrm{KL}}(P \| Q) = \int p(x) \log \frac{p(x)}{q(x)} \, dx

で定義されるが、次のような違いがある。