内積空間

内積空間#

内積#

ベクトル $a, b \in R^{n}$ に対して、実数値

a_{1} b_{2} + \dots + a_{n} b_{n} = a^{T} b

をベクトル $a$ と $b$ の内積といい、記号 $(a, b)$ や $⟨ a, b ⟩$ などで表す。

標準的な内積#

任意の2つのベクトル $a, b$ に対して、実数 $⟨ a, b ⟩$ を対応させる対応

⟨, ⟩ : R^{n} \times R^{n} \to R

のことを、 $R^{n}$ の内積という。この内積のことを一般の内積と分けて $R^{n}$ の標準的な内積 または 自然な内積 という。

定理

$R^{n}$ の標準的な内積は次の性質をもつ.

(1) $⟨ a, b ⟩ = ⟨ b, a ⟩$ （対称性 と呼ばれる）

(2) $⟨ a + b, c ⟩ = ⟨ a, c ⟩ + ⟨ b, c ⟩$ （(3)と合わせて 線形性 と呼ばれる）

(3) $⟨ k a, b ⟩ = ⟨ a, k b ⟩ = k ⟨ a, b ⟩ (k \in R)$

(4) $⟨ a, a ⟩ ≧ 0$ 。ここで $⟨ a, a ⟩ = 0$ と $a = 0$ とは同値である（正値性）

内積空間（計量ベクトル空間）#

定義

$R$ 上のベクトル空間 $V$ において、任意の2つのベクトル $a, b$ に対して実数 $⟨ a, b ⟩$ が定まり、次の(1)～(4)を満たすとき、 $⟨ a, b ⟩$ を $a$ と $b$ の内積という。

(1) $⟨ a, b ⟩ = ⟨ b, a ⟩$

(2) $⟨ a + b, c ⟩ = ⟨ a, c ⟩ + ⟨ b, c ⟩$

(3) $⟨ k a, b ⟩ = k ⟨ a, b ⟩ (k \in R)$

(4) $⟨ a, a ⟩ ≧ 0$ で， $⟨ a, a ⟩ = 0 ⟺ a = 0$

内積の定義されたベクトル空間を 計量ベクトル空間 、または 内積空間 という。

公理を満たす内積の例 (1)

内積は

⟨ a, b ⟩ = a^{⊤} b = \sum_{i = 1}^{n} a_{i} b_{i}

ノルムは

‖ a ‖ = \sqrt{\sum_{i = 1}^{n} a_{i}^{2}}

公理を満たす内積の例 (2)

区間 $[a, b]$ 上の連続関数 $f (x), g (x)$ に対して

⟨ f, g ⟩ = \int_{a}^{b} f (x) g (x) d x

ノルムは

‖ f ‖ = \sqrt{\int_{a}^{b} f (x)^{2} d x}

内積の存在#

一般のベクトル空間には、内積が（複数）存在する。

定理

$V$ をベクトル空間， $v_{1}, \dots, v_{n}$ をその 1 つの基底とする. $V$ の任意のベクトル $a, b$ が与えられたとき，これらをこの基底の 1 次結合で表わす。

\begin{array}{r} \begin{array}{ll} a = a_{1} v_{1} + \dots + a_{n} v_{n} & (a_{i} \in R) \\ b = b_{1} v_{1} + \dots + b_{n} v_{n} & (b_{i} \in R) \end{array} \end{array}

そのとき,

⟨ a, b ⟩ = a_{1} b_{1} + \dots + a_{n} b_{n}

とおくと， $⟨ a, b ⟩$ は内積である。この内積に関して $v_{1}, \dots, v_{n}$ は後に述べる正規直交基底である。すなわち、次が成り立つ。

\begin{array}{r} ⟨ v_{i}, v_{j} ⟩ = 0 (i \neq j) \\ ⟨ v_{i}, v_{j} ⟩ = 1 (i = j) \end{array}

ノルム#

計量ベクトル空間 $V$ では、内積を用いてベクトルの長さが定義される。

$a \in V$ に対して $\sqrt{⟨ a, a ⟩}$ をベクトル $a$ の長さまたは ノルム といい、 $‖ a ‖$ で表す。すなわち

‖ a ‖ = \sqrt{⟨ a, a ⟩}, ‖ a ‖^{2} = ⟨ a, a ⟩

である。

コーシー・シュワルツの不等式#

定理（コーシー・シュワルツの不等式）

計量ベクトル空間 $V$ の元 $a, b \in V$ に対し、

⟨ a, b ⟩^{2} \leq ‖ a ‖^{2} \cdot ‖ b ‖^{2}

が成立する。等号になるのは $a = 0$ または $a = c b (c \in R)$ のとき（1次独立でないとき）に限る

コーシー・シュワルツの不等式はいろいろな形がある。

⟨ a, b ⟩^{2} \leq ‖ a ‖^{2} \cdot ‖ b ‖^{2}

の平方根の

| ⟨ a, b ⟩ | \leq ‖ a ‖ \cdot ‖ b ‖

それを変形して

- ‖ a ‖ \cdot ‖ b ‖ \leq ⟨ a, b ⟩ \leq ‖ a ‖ \cdot ‖ b ‖

応用例：相関係数の導出

コーシー・シュワルツの不等式を応用すると、

| E [A B] |^{2} \leq E [A^{2}] E [B^{2}]

が成り立つ。

A = (X - E [X]), B = (Y - E [Y])

とおくと

\begin{array}{r} \begin{matrix} | E [(X - E [X]) (Y - E [Y])] |^{2} \leq E [(X - E [X])^{2}] E [(Y - E [Y])^{2}] \\ ⟺ | Cov (X, Y) |^{2} \leq Var (X) Var (Y) \\ ⟺ - 1 \leq \frac{Cov (X, Y)}{\sqrt{Var (X)} \sqrt{Var (Y)}} \leq 1 \end{matrix} \end{array}

三角不等式#

定理（三角不等式）

計量ベクトル空間 $V$ の元 $a, b \in V$ に対し、

‖ a + b ‖^{2} \leq ‖ a ‖^{2} + ‖ b ‖^{2}

が成立する。

ベクトルのなす角#

$V$ を計量ベクトル空間とする。 $a, b \in V$ がどちらもゼロベクトルでないなら、コーシー・シュワルツの不等式より

- 1 \leq \frac{⟨ a, b ⟩}{‖ a ‖ ‖ b ‖} \leq 1

が成り立つ。これに基づき、

\cos θ = \frac{⟨ a, b ⟩}{‖ a ‖ ‖ b ‖}

となる $θ$ を2つのベクトル $a, b$ のなす角と呼ぶ。

直交#

$V$ を計量ベクトル空間とする。 $a, b \in V$ について、 $⟨ a, b ⟩ = 0$ を満たすとき、 $a, b$ は 直交する といい、

a ⊥ b = 0

で表す

直交補空間#

定義

内積空間 $V$ の部分空間 $W$ に対して、 $W$ のすべてのベクトルと直交するような $V$ のベクトル全体

W^{⊥} = {x \in V ∣ ⟨ x, y ⟩ = 0, y \in W}

を $W$ の 直交補空間 という。

なお、 $W^{⊥}$ は $V$ の部分空間である

一般に、内積空間 $V$ の部分空間 $W$ を考えると、 $V$ の任意の元は $x \in W$ および $y \in W^{⊥}$ を用いて、 $x + y$ と一意的に表されることがわかる。このとこから、 $W^{⊥}$ を $W$ の直交補空間という。また、 $V$ は $W$ と $W^{⊥}$ の 直交直和 であるといい、

V = W \oplus W^{⊥}

と表す。 $V$ をこのような形に書くことを 直和分解 という。