内積

内積#

\(k\)次元のベクトル\(\boldsymbol{a} = (a_1, a_2, \dots, a_k)^\top, \ \boldsymbol{b} = (b_1, b_2, \dots, b_k)^\top\)があるとき、

\[ \sum^k_{i=1} a_i b_i \]

という演算を内積（inner product）といい、\(\boldsymbol{a}^\top \boldsymbol{b}\)や\(\boldsymbol{a} \cdot \boldsymbol{b}\)や\((\boldsymbol{a}, \boldsymbol{b})\)や\(\langle\boldsymbol{a}, \boldsymbol{b} \rangle\)と表す

import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
import japanize_matplotlib

a = np.array([1, 1, 1])
b = np.array([2, 2, 2])
a.T @ b

6

ノルム#

ベクトル\(\boldsymbol{a}\)に対して\(\sqrt{\boldsymbol{a}^\top \boldsymbol{b}}\)をベクトル\(\boldsymbol{a}\)の 長さ または ノルム（norm） といい、\(\|\boldsymbol{a}\|\)で表す。すなわち

\[ \|\boldsymbol{a}\| = \sqrt{\boldsymbol{a}^\top \boldsymbol{b}}, \quad \|\boldsymbol{a}\|^2= \boldsymbol{a}^\top \boldsymbol{b} \]

である。

内積と類似度#

コサイン類似度#

Note

コサイン類似度

2つのベクトル\(\boldsymbol{a} = (a_1, a_2, \dots, a_k)^T\)と\(\boldsymbol{b} = (b_1, b_2, \dots, b_k)^T\)について、

\[ \cos(\boldsymbol{a}, \boldsymbol{b}) = \frac{ \boldsymbol{a}^T \boldsymbol{b} }{ ||\boldsymbol{a}|| \ ||\boldsymbol{b}|| } = \frac{ \sum^k_{i=1} a_i b_i } { \sqrt{ \sum^k_{i=1} a_i^2 } \sqrt{ \sum^k_{i=1} b_i^2 } } \]

をコサイン類似度という

\[\begin{split} \newcommand{\b}[1]{\boldsymbol{#1}} \boldsymbol{a}^T \boldsymbol{b} = ||\boldsymbol{a}|| \ ||\boldsymbol{b}|| \cos(\boldsymbol{a}, \boldsymbol{b}) \\ \implies \cos(\boldsymbol{a}, \boldsymbol{b}) = \frac{ \boldsymbol{a}^T \boldsymbol{b} }{ ||\boldsymbol{a}|| \ ||\boldsymbol{b}|| } \end{split}\]

コサイン類似度はベクトルを矢印で表現したときに同じ方向を向いているほど1に近く、真逆の方向ほど-1に近くなる

def cos(a, b):
    return (a.T @ b) / (np.linalg.norm(a) * np.linalg.norm(b))

cos(a, b)

1.0000000000000002

Hide code cell source

 
o = np.array([0, 0])
buffer = 0.1
lim = np.array([-1, 1]) * (1 + buffer)
ticks = [-1, 0, 1]

datasets = [
    [np.array([1, 0]), np.array([0, 1])],
    [np.array([1.1, 0.9]), np.array([0.9, 1.1])],
    [np.array([1, 1]), np.array([-1, -1])],
]
m = len(datasets)
fig, axes = plt.subplots(ncols=m, figsize=[m*3, 2.5])
for i in range(m):
    a, b = datasets[i]
    axes[i].arrow(*o, *a, width=0.02, color="black", length_includes_head=True, alpha=0.7)
    axes[i].arrow(*o, *b, width=0.02, color="black", length_includes_head=True, alpha=0.7)
    axes[i].grid(True, alpha=0.3)
    axes[i].set(title=f"cos(a, b) = {cos(a, b):.2f}", xticks=ticks, yticks=ticks, xlim=lim, ylim=lim)

fig.show()
../../../_images/91143adc04aaded300520b76a7bdc1cf0290ec7072cee4a8e8ade09e8790f46c.png

直交#

直交

ベクトル\(\boldsymbol{a}, \boldsymbol{b} \in \mathbb{R}^n\)が

\[ \boldsymbol{a}^T \boldsymbol{b} = 0 \]

を満たすとき、\(\boldsymbol{a}, \boldsymbol{b}\)は直交しているという

コーシー・シュワルツの不等式#

コサイン類似度が \([-1, 1]\) の範囲に正規化される理由

定理（コーシー・シュワルツの不等式）

ベクトル\(\boldsymbol{a}, \boldsymbol{b}\)に対し、

\[ (\boldsymbol{a}^\top \boldsymbol{b})^2 \leq \| \boldsymbol{a} \|^2 \cdot \| \boldsymbol{b} \|^2 \]

が成立する。等号になるのは \(\boldsymbol{a} = 0\) または \(\boldsymbol{a} = c \boldsymbol{b} \ (c \in \mathbb{R})\) のとき（1次独立でないとき）に限る

平方根をとれば

\[ | \boldsymbol{a}^\top \boldsymbol{b} | \leq \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| \]

となり、それを変形すると

\[ - \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| \leq \boldsymbol{a}^\top \boldsymbol{b} \leq \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| \]

なので両辺を\(\| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \|\)で割れば

\[ - 1 \leq \frac{ \boldsymbol{a}^\top \boldsymbol{b} }{ \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| } \leq 1 \]
Contents