Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

内積空間

内積

ベクトルa,b∈Rn\boldsymbol{a}, \boldsymbol{b} \in \mathbb{R}^nに対して、実数値

a1b2+⋯+anbn=aTba_1 b_2 + \cdots + a_n b_n = \boldsymbol{a}^T \boldsymbol{b}
(1)

をベクトルa\boldsymbol{a}とb\boldsymbol{b}の 内積 といい、記号(a,b)(\boldsymbol{a}, \boldsymbol{b}) や ⟨a,b⟩\langle \boldsymbol{a}, \boldsymbol{b} \rangleなどで表す。

標準的な内積

任意の2つのベクトルa,b\boldsymbol{a}, \boldsymbol{b}に対して、実数⟨a,b⟩\langle \boldsymbol{a}, \boldsymbol{b} \rangleを対応させる対応

⟨,⟩:Rn×Rn→R\langle \quad, \quad \rangle : \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R}
(3)

のことを、Rn\mathbb{R}^nの 内積 という。この内積のことを一般の内積と分けて Rn\mathbb{R}^nの標準的な内積 または 自然な内積 という。

内積空間（計量ベクトル空間）

公理を満たす内積の例 (1)

内積は

⟨a,b⟩=a⊤b=∑i=1naibi\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \boldsymbol{a}^\top \boldsymbol{b} = \sum_{i=1}^n a_i b_i
(4)

ノルムは

∥a∥=∑i=1nai2\|\boldsymbol{a}\|=\sqrt{\sum_{i=1}^n a_i^2}
(5)
公理を満たす内積の例 (2)

区間[a,b][a, b]上の連続関数f(x),g(x)f(x), g(x) に対して

⟨f,g⟩=∫abf(x)g(x)dx\langle f, g \rangle =\int_a^b f(x) g(x) \mathrm{d} x
(6)

ノルムは

∥f∥=∫abf(x)2 dx\|f\|=\sqrt{\int_a^b f(x)^2 \mathrm{~d} x}
(7)

内積の存在

一般のベクトル空間には、内積が（複数）存在する。

ノルム

計量ベクトル空間VVでは、内積を用いてベクトルの長さが定義される。

a∈V\boldsymbol{a} \in Vに対して⟨a,a⟩\sqrt{\langle \boldsymbol{a}, \boldsymbol{a} \rangle}をベクトルa\boldsymbol{a}の 長さ または ノルム といい、∥a∥\|\boldsymbol{a}\|で表す。すなわち

∥a∥=⟨a,a⟩,∥a∥2=⟨a,a⟩\|\boldsymbol{a}\| = \sqrt{\langle \boldsymbol{a}, \boldsymbol{a}\rangle}, \quad \|\boldsymbol{a}\|^2= \langle \boldsymbol{a}, \boldsymbol{a}\rangle
(11)

である。

コーシー・シュワルツの不等式

証明
f(t)=∥a−tb∥2f(t) = \| \boldsymbol{a} - t \boldsymbol{b} \|^2
(13)

とおくと

f(t)=⟨a−tb,a−tb⟩(∵∥a∥2=⟨a,a⟩)=⟨a,a−tb⟩−⟨tb,a−tb⟩=⟨a,a⟩−⟨a,tb⟩−⟨tb,a⟩+⟨tb,tb⟩(∵線形性により)=⟨a,a⟩−2⟨a,tb⟩+⟨tb,tb⟩(∵対称性により⟨a,tb⟩=⟨tb,a⟩)=∥a∥2−2⟨a,b⟩t+t2∥b∥2\begin{aligned} f(t) &= \langle \boldsymbol{a} - t \boldsymbol{b}, \boldsymbol{a} - t \boldsymbol{b} \rangle \quad (\because \|\boldsymbol{a}\|^2= \langle \boldsymbol{a}, \boldsymbol{a}\rangle ) \\ &= \langle \boldsymbol{a}, \boldsymbol{a} - t \boldsymbol{b} \rangle - \langle t \boldsymbol{b}, \boldsymbol{a} - t \boldsymbol{b} \rangle \\ &= \langle \boldsymbol{a}, \boldsymbol{a} \rangle - \langle \boldsymbol{a}, t \boldsymbol{b} \rangle - \langle t \boldsymbol{b}, \boldsymbol{a}\rangle + \langle t \boldsymbol{b}, t \boldsymbol{b} \rangle \quad (\because 線形性により) \\ &= \langle \boldsymbol{a}, \boldsymbol{a} \rangle - 2 \langle \boldsymbol{a}, t \boldsymbol{b} \rangle + \langle t \boldsymbol{b}, t \boldsymbol{b} \rangle \quad (\because 対称性により \langle \boldsymbol{a}, t \boldsymbol{b} \rangle = \langle t \boldsymbol{b}, \boldsymbol{a}\rangle ) \\ &= \| \boldsymbol{a} \|^2 - 2 \langle \boldsymbol{a}, \boldsymbol{b} \rangle t + t^2 \| \boldsymbol{b} \|^2 \\ \end{aligned}
(14)

b≠0\boldsymbol{b} \neq 0なら、これはttの2次方程式

f(t)=∥b∥2t2−2⟨a,b⟩t+∥a∥2f(t) = \| \boldsymbol{b} \|^2 t^2 - 2 \langle \boldsymbol{a}, \boldsymbol{b} \rangle t + \| \boldsymbol{a} \|^2
(15)

であるから、f(t)≥0f(t) \geq 0となる必要十分条件は2次方程式f(t)=0f(t) = 0が実数解を持たないか、1つの重解をもつこと。 すなわち、判別式DDが0または負となること

2次方程式ax2+bx+ca x^2 + bx + cの判別式はD=b2−4acD=b^2 - 4acのため、

D=4⟨a,b⟩2−4∥a∥2⋅∥b∥2≤0D = 4 \langle \boldsymbol{a}, \boldsymbol{b} \rangle ^2 - 4 \|\boldsymbol{a}\|^2 \cdot \|\boldsymbol{b}\|^2 \leq 0
(16)

を満たす必要がある。移項して整理すれば

⟨a,b⟩2≤∥a∥2⋅∥b∥2\langle \boldsymbol{a}, \boldsymbol{b} \rangle ^2 \leq \|\boldsymbol{a}\|^2 \cdot \|\boldsymbol{b}\|^2
(17)

コーシー・シュワルツの不等式

⟨a,b⟩2≤∥a∥2⋅∥b∥2\langle \boldsymbol{a}, \boldsymbol{b} \rangle ^2 \leq \| \boldsymbol{a} \|^2 \cdot \| \boldsymbol{b} \|^2
(18)

の平方根の

∣⟨a,b⟩∣≤∥a∥⋅∥b∥| \langle \boldsymbol{a}, \boldsymbol{b} \rangle| \leq \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \|
(19)

それを変形して

−∥a∥⋅∥b∥≤⟨a,b⟩≤∥a∥⋅∥b∥- \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| \leq \langle \boldsymbol{a}, \boldsymbol{b} \rangle \leq \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \|
(20)

なので両辺を∥a∥⋅∥b∥\| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \|で割れば

−1≤⟨a,b⟩∥a∥⋅∥b∥≤1- 1 \leq \frac{ \langle \boldsymbol{a}, \boldsymbol{b} \rangle }{ \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| } \leq 1
(21)

コサイン類似度

cos⁡(a,b)=⟨a,b⟩∣∣a∣∣ ∣∣b∣∣\cos(\boldsymbol{a}, \boldsymbol{b}) = \frac{ \langle \boldsymbol{a}, \boldsymbol{b} \rangle }{ ||\boldsymbol{a}|| \ ||\boldsymbol{b}|| }
(22)

が[−1,1][-1, 1]の範囲に正規化されており、扱いやすい類似度の指標になっているのはこのため。

応用例：内積と相関係数

確率変数はベクトル

ベクトルの定義のひとつは、加法とスカラー倍の演算に閉じているということだった。
確率変数XXは事象Ω\Omegaを数（確率）に写す写像X:Ω→RX: \Omega \to \mathbb{R}ではあるが、加法X+YX + Yとスカラー倍aXa X（a∈Ra\in\mathbb{R}）に閉じている。 よって確率変数もベクトルとなる

確率変数の積の期待値は内積

2乗可積分な確率変数X,Y,Z∈{X∣E[X2]<∞}X,Y,Z \in \{X \mid E[X^2]<\infty \}にたいし、確率変数X,YX, Yの積の期待値 E[XY]E[XY] は

  1. 対称性：E[XY]=E[YX]E[XY] = E[YX]

  2. 線形性：E[(aX+bY)Z]=aE[XZ]+bE[YZ]E[(a X + b Y) Z] = a E[X Z] + b E[Y Z]（a,b∈Ra,b\in\mathbb{R}）

  3. 正値性：E[X2]≥0E[X^2] \geq 0、E[X2]=0→a.s.X=0E[X^2] = 0 \overset{\text{a.s.}}{\to} X = 0

を満たす→内積

相関係数の導出

コーシー・シュワルツの不等式を期待値に応用すると、確率変数A,BA,Bに対し

∣E[AB]∣2≤E[A2]E[B2]\big| E[A B] \big|^2 \leq E[A^2] E[B^2]
(23)

が成り立つ。ここで

A=(X−E[X]),B=(Y−E[Y])A = (X - E[X]),\quad B = (Y - E[Y])
(24)

とおくと

∣E[(X−E[X])(Y−E[Y])]∣2≤E[(X−E[X])2]E[(Y−E[Y])2]  ⟺  ∣Cov⁡(X,Y)∣2≤Var⁡(X)Var⁡(Y)  ⟺  −1≤Cov⁡(X,Y)Var⁡(X)Var⁡(Y)≤1\begin{aligned} \big| E\big[ (X - E[X]) (Y - E[Y]) \big] \big|^2 \leq E[(X - E[X])^2] E[(Y - E[Y])^2]\\ \iff | \operatorname{Cov}(X, Y) |^2 \leq \operatorname{Var}(X) \operatorname{Var}(Y) \\ \iff -1 \leq \frac{ \operatorname{Cov}(X, Y) }{ \sqrt{ \operatorname{Var}(X) } \sqrt{ \operatorname{Var}(Y) } } \leq 1 \end{aligned}
(25)

三角不等式

証明

コーシー・シュワルツの不等式 ∣⟨a,b⟩∣≤∥a∥⋅∥b∥| \langle \boldsymbol{a}, \boldsymbol{b} \rangle| \leq \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| より、

∥a+b∥2=⟨a+b,a+b⟩=⟨a,a⟩+2⟨a,b⟩+⟨b,b⟩≤∥a∥2+2∥a∥⋅∥b∥+∥b∥2=(∥a∥+∥b∥)2\begin{aligned} \|\boldsymbol{a}+\boldsymbol{b}\|^2 &= \langle \boldsymbol{a}+\boldsymbol{b}, \boldsymbol{a}+\boldsymbol{b} \rangle \\ &= \langle \boldsymbol{a}, \boldsymbol{a} \rangle + 2 \langle \boldsymbol{a}, \boldsymbol{b} \rangle + \langle \boldsymbol{b}, \boldsymbol{b} \rangle \\ & \leq\|\boldsymbol{a}\|^2+2\|\boldsymbol{a}\| \cdot\|\boldsymbol{b}\|+\|\boldsymbol{b}\|^2=(\|\boldsymbol{a}\|+\|\boldsymbol{b}\|)^2 \end{aligned}
(27)

ベクトルのなす角

VVを計量ベクトル空間とする。a,b∈V\boldsymbol{a}, \boldsymbol{b} \in Vがどちらもゼロベクトルでないなら、コーシー・シュワルツの不等式より

−1≤⟨a,b⟩∥a∥∥b∥≤1-1 \leq \frac{\langle \boldsymbol{a}, \boldsymbol{b} \rangle} {\| \boldsymbol{a} \| \| \boldsymbol{b} \|} \leq 1
(28)

が成り立つ。これに基づき、

cos⁡θ=⟨a,b⟩∥a∥∥b∥\cos \theta = \frac{\langle \boldsymbol{a}, \boldsymbol{b} \rangle} {\| \boldsymbol{a} \| \| \boldsymbol{b} \|}
(29)

となるθ\thetaを2つのベクトルa,b\boldsymbol{a}, \boldsymbol{b}のなす角と呼ぶ。

直交

VVを計量ベクトル空間とする。a,b∈V\boldsymbol{a}, \boldsymbol{b} \in Vについて、⟨a,b⟩=0\langle \boldsymbol{a}, \boldsymbol{b} \rangle = 0を満たすとき、a,b\boldsymbol{a}, \boldsymbol{b}は 直交する といい、

a⊥b=0\boldsymbol{a} \perp \boldsymbol{b} = 0
(30)

で表す

直交補空間

なお、W⊥W^\perpはVVの部分空間である

証明

(1) 0∈V\boldsymbol{0} \in V であり、 ⟨0,y⟩=0\langle \boldsymbol{0}, y \rangle = 0 のため 0∈W⊥\boldsymbol{0} \in W^\perp

(2) x1,x2∈W⊥\boldsymbol{x}_1, \boldsymbol{x}_2 \in W^{\perp} は、 y∈W\boldsymbol{y} \in Wについて、

⟨x1,y⟩+⟨x2,y⟩=0\langle \boldsymbol{x}_1, \boldsymbol{y} \rangle + \langle \boldsymbol{x}_2, \boldsymbol{y} \rangle = 0
(32)

を満たす。標準内積の定義より

⟨x1,y⟩+⟨x2,y⟩=⟨x1+x2,y⟩=0\langle \boldsymbol{x}_1, \boldsymbol{y} \rangle + \langle \boldsymbol{x}_2, \boldsymbol{y} \rangle = \langle \boldsymbol{x}_1 + \boldsymbol{x}_2, \boldsymbol{y} \rangle = 0
(33)

であるため、x1+x2∈W⊥\boldsymbol{x}_1 + \boldsymbol{x}_2 \in W^{\perp}

(3) x∈W⊥\boldsymbol{x} \in W^{\perp} は、 y∈W,c∈R\boldsymbol{y} \in W, c \in \mathbb{R}について、

c⟨x,y⟩=0c \langle \boldsymbol{x}, \boldsymbol{y} \rangle = 0
(34)

をみたす。標準内積の定義より

c⟨x,y⟩=⟨cx,y⟩=0c \langle \boldsymbol{x}, \boldsymbol{y} \rangle = \langle c \boldsymbol{x}, \boldsymbol{y} \rangle = 0
(35)

のため、cx∈W⊥c \boldsymbol{x} \in W^{\perp}

よって、(1) ~ (3)より、W⊥W^\perpはVVの部分空間である

一般に、内積空間 VV の部分空間 WW を考えると、 VV の任意の元は x∈Wx \in W および y∈W⊥\boldsymbol{y} \in W^{\perp} を用いて、 x+y\boldsymbol{x}+\boldsymbol{y} と一意的に表されることがわかる。このとこから、 W⊥W^{\perp} を WW の直交補空間という。また、 VV は WW と W⊥W^{\perp} の 直交直和 であるといい、

V=W⊕W⊥V=W \oplus W^{\perp}
(36)

と表す。VVをこのような形に書くことを 直和分解 という。

数学
双対空間
数学
直交化