距離や類似度の関数#

量的変数#

特徴ベクトルの要素が実数値の場合${\mathbf{x}}_i,{\mathbf{x}}_j\in {\mathbb{R}}^K$の距離$d_{ij}$

ユークリッド距離（L2距離）

$${\left[\sum _{k=1}^K{(x_{ik}-x_{jk})}^2\right]}^{1/2}$$

• よく使われる

シティブロック距離（マンハッタン距離・L1距離）

$$\sum _{k=1}^K|x_{ik}-x_{jk}|$$

• 外れ値に対して頑健

ミンコフスキー距離（Lp距離）

$${\left[\sum _{k=1}^K{|x_{ik}-x_{jk}|}^p\right]}^{1/p}$$

• ミンコフスキー距離（Minkowski distance）。$L_p$距離とも呼ばれる。

• L2距離などを一般化したもの

マハラノビス距離（Mahalanobis distance）

$${\left[{({\mathbf{x}}_i-\bar{\mathbf{x}})}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}({\mathbf{x}}_j-\bar{\mathbf{x}})\right]}^{1/2}$$

• $\overline{\mathbf{x}}$はサンプルの平均、$\mathrm{\Sigma }$は共分散行列

• ベクトルの要素ごとの分散に大きな差があるとき使われる

コサイン類似度（cosine similarity）

$$\frac{{\mathbf{x}}_i\cdot {\mathbf{x}}_j}{\Vert {\mathbf{x}}_i\Vert \Vert {\mathbf{x}}_j\Vert }$$

• 類似度なので距離とは逆向き

• ベクトルの角度に意味がある文書ベクトルなどに使われる

なお、類似度$s_{ij}$は$d_{ij}=1-s_{ij}$と変換すれば距離になる

カテゴリカル変数#

特徴ベクトルが有限の値のどれかを取るカテゴリ値

単純一致係数（simple matching coefficient）

$$s_{ij}=\frac{1}{K}\sum _{k=1}^K\mathrm{I}[x_{ik}=x_{jk}]$$

• 類似度の指標。

• $I[\text{条件}]$は条件が成立したとき1、そうでないとき0をとる指示関数

Jaccard係数（Jaccard coefficient）

$$\frac{\sum _{k=1}^K\mathrm{I}[x_{ik}=1\wedge x_{jk}=1]}{K-\sum _{k=1}^K\mathrm{I}[x_{ik}=0\wedge x_{jk}=0]}$$

• 類似度の指標。

• 0/1のいずれかの値を取るカテゴリ値で、とくに値が1の場合に注目しているときに使われる（1が「購入」の意味を持つ場合など）

参考#

神嶌敏弘「クラスタリング」