内積空間

内積

ベクトル\(\boldsymbol{a}, \boldsymbol{b} \in \mathbb{R}^n\)に対して、実数値

\[ a_1 b_2 + \cdots + a_n b_n = \boldsymbol{a}^T \boldsymbol{b} \]

をベクトル\(\boldsymbol{a}\)と\(\boldsymbol{b}\)の 内積 といい、記号\((\boldsymbol{a}, \boldsymbol{b})\) や \(\langle \boldsymbol{a}, \boldsymbol{b} \rangle\)などで表す。

\[ \|\boldsymbol{a}\| \|\boldsymbol{b}\| \cos \theta \]

を内積の定義とする書籍もあるが、\(\boldsymbol{a}^T \boldsymbol{b}\)と同値である

標準的な内積

任意の2つのベクトル\(\boldsymbol{a}, \boldsymbol{b}\)に対して、実数\(\langle \boldsymbol{a}, \boldsymbol{b} \rangle\)を対応させる対応

\[ \langle \quad, \quad \rangle : \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R} \]

のことを、\(\mathbb{R}^n\)の 内積 という。この内積のことを一般の内積と分けて \(\mathbb{R}^n\)の標準的な内積 または 自然な内積 という。

定理

\(R^n\) の標準的な内積は次の性質をもつ.

(1) \(\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \langle \boldsymbol{b}, \boldsymbol{a} \rangle\) （対称性 と呼ばれる）

(2) \(\langle \boldsymbol{a} + \boldsymbol{b}, \boldsymbol{c} \rangle = \langle \boldsymbol{a}, \boldsymbol{c} \rangle + \langle \boldsymbol{b}, \boldsymbol{c} \rangle\) （(3)と合わせて 線形性 と呼ばれる）

(3) \(\langle k \boldsymbol{a}, \boldsymbol{b} \rangle = \langle \boldsymbol{a}, k \boldsymbol{b} \rangle = k \langle \boldsymbol{a}, \boldsymbol{b} \rangle \quad (k \in \boldsymbol{R})\)

(4) \(\langle \boldsymbol{a}, \boldsymbol{a} \rangle \geqq 0\)。 ここで \(\langle \boldsymbol{a}, \boldsymbol{a} \rangle = 0\) と \(\boldsymbol{a} = \mathbf{0}\) とは同値である （正値性）

内積空間（計量ベクトル空間）

定義

\(\mathbb{R}\) 上のベクトル空間 \(V\) において、任意の2つのベクトル \(\boldsymbol{a}, \boldsymbol{b}\) に対して実数 \(\langle \boldsymbol{a}, \boldsymbol{b} \rangle\) が定まり、次の(1)～(4)を満たすとき、\(\langle \boldsymbol{a}, \boldsymbol{b} \rangle\) を \(\boldsymbol{a}\) と \(\boldsymbol{b}\) の 内積 という。

(1) \(\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \langle \boldsymbol{b}, \boldsymbol{a} \rangle\)

(2) \(\langle \boldsymbol{a} + \boldsymbol{b}, \boldsymbol{c} \rangle = \langle \boldsymbol{a}, \boldsymbol{c} \rangle + \langle \boldsymbol{b}, \boldsymbol{c} \rangle\)

(3) \(\langle k \boldsymbol{a}, \boldsymbol{b} \rangle = k \langle \boldsymbol{a}, \boldsymbol{b} \rangle \quad (k \in \mathbb{R})\)

(4) \(\langle \boldsymbol{a}, \boldsymbol{a} \rangle \geqq 0\) で，\(\langle \boldsymbol{a}, \boldsymbol{a} \rangle = 0 \Longleftrightarrow \boldsymbol{a} = \mathbf{0}\)

内積の定義されたベクトル空間を 計量ベクトル空間 、または 内積空間 という。

公理を満たす内積の例 (1)

内積は

\[ \langle \boldsymbol{a}, \boldsymbol{b} \rangle = \boldsymbol{a}^\top \boldsymbol{b} = \sum_{i=1}^n a_i b_i \]

ノルムは

\[ \|\boldsymbol{a}\|=\sqrt{\sum_{i=1}^n a_i^2} \]

公理を満たす内積の例 (2)

区間\([a, b]\)上の連続関数\(f(x), g(x)\) に対して

\[ \langle f, g \rangle =\int_a^b f(x) g(x) \mathrm{d} x \]

ノルムは

\[ \|f\|=\sqrt{\int_a^b f(x)^2 \mathrm{~d} x} \]

内積の存在

一般のベクトル空間には、内積が（複数）存在する。

定理

\(V\) をベクトル空間， \(v_1, \cdots, v_n\) をその 1 つの基底とする. \(V\) の 任意のベクトル \(\boldsymbol{a}, \boldsymbol{b}\) が与えられたとき，これらをこの基底の 1 次結合で表わす。

\[\begin{split} \begin{array}{ll} \boldsymbol{a}=a_1 \boldsymbol{v}_1+\cdots+a_n \boldsymbol{v}_n & \left(a_i \in \boldsymbol{R}\right) \\ \boldsymbol{b}=b_1 \boldsymbol{v}_1+\cdots+b_n \boldsymbol{v}_n & \left(b_i \in \boldsymbol{R}\right) \end{array} \end{split}\]

そのとき,

\[ \langle \boldsymbol{a}, \boldsymbol{b} \rangle = a_1 b_1+\cdots+a_n b_n \]

とおくと， \(\langle \boldsymbol{a}, \boldsymbol{b} \rangle\) は内積である。 この内積に関して \(v_1, \cdots, v_n\) は後に述べる正規直交基底である。すなわち、次が成り立つ。

\[\begin{split} \langle \boldsymbol{v}_i, \boldsymbol{v}_j \rangle = 0 \quad(i \neq j) \\ \langle\boldsymbol{v}_i, \boldsymbol{v}_j\rangle = 1 \quad(i=j) \end{split}\]

ノルム

計量ベクトル空間\(V\)では、内積を用いてベクトルの長さが定義される。

\(\boldsymbol{a} \in V\)に対して\(\sqrt{\langle \boldsymbol{a}, \boldsymbol{a} \rangle}\)をベクトル\(\boldsymbol{a}\)の 長さ または ノルム といい、\(\|\boldsymbol{a}\|\)で表す。すなわち

\[ \|\boldsymbol{a}\| = \sqrt{\langle \boldsymbol{a}, \boldsymbol{a}\rangle}, \quad \|\boldsymbol{a}\|^2= \langle \boldsymbol{a}, \boldsymbol{a}\rangle \]

である。

コーシー・シュワルツの不等式

定理（コーシー・シュワルツの不等式）

計量ベクトル空間\(V\)の元\(\boldsymbol{a}, \boldsymbol{b} \in V\)に対し、

\[ \langle \boldsymbol{a}, \boldsymbol{b} \rangle ^2 \leq \| \boldsymbol{a} \|^2 \cdot \| \boldsymbol{b} \|^2 \]

が成立する。等号になるのは \(\boldsymbol{a} = 0\) または \(\boldsymbol{a} = c \boldsymbol{b} (c \in \mathbb{R})\) のとき（1次独立でないとき）に限る

証明

\[ f(t) = \| \boldsymbol{a} - t \boldsymbol{b} \|^2 \]

とおくと

\[\begin{split} \begin{aligned} f(t) &= \langle \boldsymbol{a} - t \boldsymbol{b}, \boldsymbol{a} - t \boldsymbol{b} \rangle \quad (\because \|\boldsymbol{a}\|^2= \langle \boldsymbol{a}, \boldsymbol{a}\rangle ) \\ &= \langle \boldsymbol{a}, \boldsymbol{a} - t \boldsymbol{b} \rangle - \langle t \boldsymbol{b}, \boldsymbol{a} - t \boldsymbol{b} \rangle \\ &= \langle \boldsymbol{a}, \boldsymbol{a} \rangle - \langle \boldsymbol{a}, t \boldsymbol{b} \rangle - \langle t \boldsymbol{b}, \boldsymbol{a}\rangle + \langle t \boldsymbol{b}, t \boldsymbol{b} \rangle \quad (\because 線形性により) \\ &= \langle \boldsymbol{a}, \boldsymbol{a} \rangle - 2 \langle \boldsymbol{a}, t \boldsymbol{b} \rangle + \langle t \boldsymbol{b}, t \boldsymbol{b} \rangle \quad (\because 対称性により \langle \boldsymbol{a}, t \boldsymbol{b} \rangle = \langle t \boldsymbol{b}, \boldsymbol{a}\rangle ) \\ &= \| \boldsymbol{a} \|^2 - 2 \langle \boldsymbol{a}, \boldsymbol{b} \rangle t + t^2 \| \boldsymbol{b} \|^2 \\ \end{aligned} \end{split}\]

\(\boldsymbol{b} \neq 0\)なら、これは\(t\)の2次方程式

\[ f(t) = \| \boldsymbol{b} \|^2 t^2 - 2 \langle \boldsymbol{a}, \boldsymbol{b} \rangle t + \| \boldsymbol{a} \|^2 \]

であるから、\(f(t) \geq 0\)となる必要十分条件は2次方程式\(f(t) = 0\)が実数解を持たないか、1つの重解をもつこと。 すなわち、判別式\(D\)が0または負となること

2次方程式\(a x^2 + bx + c\)の判別式は\(D=b^2 - 4ac\)のため、

\[ D = 4 \langle \boldsymbol{a}, \boldsymbol{b} \rangle ^2 - 4 \|\boldsymbol{a}\|^2 \cdot \|\boldsymbol{b}\|^2 \leq 0 \]

を満たす必要がある。移項して整理すれば

\[ \langle \boldsymbol{a}, \boldsymbol{b} \rangle ^2 \leq \|\boldsymbol{a}\|^2 \cdot \|\boldsymbol{b}\|^2 \]

コーシー・シュワルツの不等式はいろいろな形がある。

\[ \langle \boldsymbol{a}, \boldsymbol{b} \rangle ^2 \leq \| \boldsymbol{a} \|^2 \cdot \| \boldsymbol{b} \|^2 \]

の平方根の

\[ | \langle \boldsymbol{a}, \boldsymbol{b} \rangle| \leq \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| \]

それを変形して

\[ - \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| \leq \langle \boldsymbol{a}, \boldsymbol{b} \rangle \leq \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \| \]

応用例：相関係数の導出

コーシー・シュワルツの不等式を応用すると、

\[ |E[A B]|^2 \leq E[A^2] E[B^2] \]

が成り立つ。

\[ A = (E[X - E[X]]),\quad B = (E[Y - E[Y]]) \]

とおくと

\[\begin{split} \begin{aligned} \big| E[(E[X - E[X]]) (E[Y - E[Y]])] \big|^2 \leq E[(E[X - E[X]])^2] E[(E[Y - E[Y]])^2]\\ \iff | \operatorname{Cov}(X, Y) |^2 \leq \operatorname{Var}(X) \operatorname{Var}(Y) \\ \iff -1 \leq \frac{ \operatorname{Cov}(X, Y) }{ \sqrt{ \operatorname{Var}(X) } \sqrt{ \operatorname{Var}(Y) } } \leq 1 \end{aligned} \end{split}\]

三角不等式

定理（三角不等式）

計量ベクトル空間\(V\)の元\(\boldsymbol{a}, \boldsymbol{b} \in V\)に対し、

\[ \| \boldsymbol{a} + \boldsymbol{b} \| ^2 \leq \| \boldsymbol{a} \|^2 + \| \boldsymbol{b} \|^2 \]

が成立する。

証明

コーシー・シュワルツの不等式 \(| \langle \boldsymbol{a}, \boldsymbol{b} \rangle| \leq \| \boldsymbol{a} \| \cdot \| \boldsymbol{b} \|\) より、

\[\begin{split} \begin{aligned} \|\boldsymbol{a}+\boldsymbol{b}\|^2 &= \langle \boldsymbol{a}+\boldsymbol{b}, \boldsymbol{a}+\boldsymbol{b} \rangle \\ &= \langle \boldsymbol{a}, \boldsymbol{a} \rangle + 2 \langle \boldsymbol{a}, \boldsymbol{b} \rangle + \langle \boldsymbol{b}, \boldsymbol{b} \rangle \\ & \leq\|\boldsymbol{a}\|^2+2\|\boldsymbol{a}\| \cdot\|\boldsymbol{b}\|+\|\boldsymbol{b}\|^2=(\|\boldsymbol{a}\|+\|\boldsymbol{b}\|)^2 \end{aligned} \end{split}\]

ベクトルのなす角

\(V\)を計量ベクトル空間とする。\(\boldsymbol{a}, \boldsymbol{b} \in V\)がどちらもゼロベクトルでないなら、コーシー・シュワルツの不等式より

\[ -1 \leq \frac{\langle \boldsymbol{a}, \boldsymbol{b} \rangle} {\| \boldsymbol{a} \| \| \boldsymbol{b} \|} \leq 1 \]

が成り立つ。これに基づき、

\[ \cos \theta = \frac{\langle \boldsymbol{a}, \boldsymbol{b} \rangle} {\| \boldsymbol{a} \| \| \boldsymbol{b} \|} \]

となる\(\theta\)を2つのベクトル\(\boldsymbol{a}, \boldsymbol{b}\)のなす角と呼ぶ。

直交

\(V\)を計量ベクトル空間とする。\(\boldsymbol{a}, \boldsymbol{b} \in V\)について、\(\langle \boldsymbol{a}, \boldsymbol{b} \rangle = 0\)を満たすとき、\(\boldsymbol{a}, \boldsymbol{b}\)は 直交する といい、

\[ \boldsymbol{a} \perp \boldsymbol{b} = 0 \]

で表す

直交補空間

定義

内積空間 \(V\) の部分空間 \(W\) に対して、 \(W\)のすべてのベクトルと直交するような\(V\)のベクトル全体

\[ W^{\perp}=\{\boldsymbol{x} \in V \mid \langle\boldsymbol{x}, \boldsymbol{y}\rangle=0, \boldsymbol{y} \in W\} \]

を\(W\)の 直交補空間 という。

なお、\(W^\perp\)は\(V\)の部分空間である

証明

(1) \(\boldsymbol{0} \in V\) であり、 \(\langle \boldsymbol{0}, y \rangle = 0\) のため \(\boldsymbol{0} \in W^\perp\)

(2) \(\boldsymbol{x}_1, \boldsymbol{x}_2 \in W^{\perp}\) は、 \(\boldsymbol{y} \in W\)について、

\[ \langle \boldsymbol{x}_1, \boldsymbol{y} \rangle + \langle \boldsymbol{x}_2, \boldsymbol{y} \rangle = 0 \]

を満たす。標準内積の定義より

\[ \langle \boldsymbol{x}_1, \boldsymbol{y} \rangle + \langle \boldsymbol{x}_2, \boldsymbol{y} \rangle = \langle \boldsymbol{x}_1 + \boldsymbol{x}_2, \boldsymbol{y} \rangle = 0 \]

であるため、\(\boldsymbol{x}_1 + \boldsymbol{x}_2 \in W^{\perp}\)

(3) \(\boldsymbol{x} \in W^{\perp}\) は、 \(\boldsymbol{y} \in W, c \in \mathbb{R}\)について、

\[ c \langle \boldsymbol{x}, \boldsymbol{y} \rangle = 0 \]

をみたす。標準内積の定義より

\[ c \langle \boldsymbol{x}, \boldsymbol{y} \rangle = \langle c \boldsymbol{x}, \boldsymbol{y} \rangle = 0 \]

のため、\(c \boldsymbol{x} \in W^{\perp}\)

よって、(1) ~ (3)より、\(W^\perp\)は\(V\)の部分空間である

一般に、内積空間 \(V\) の部分空間 \(W\) を考えると、 \(V\) の任意の元は \(x \in W\) および \(\boldsymbol{y} \in W^{\perp}\) を用いて、 \(\boldsymbol{x}+\boldsymbol{y}\) と一意的に表されることがわかる。このとこから、 \(W^{\perp}\) を \(W\) の直交補空間という。また、 \(V\) は \(W\) と \(W^{\perp}\) の 直交直和 であるといい、

\[ V=W \oplus W^{\perp} \]

と表す。\(V\)をこのような形に書くことを 直和分解 という。