ノルム線型空間とヒルベルト空間

ノルム線型空間とヒルベルト空間#

ベクトル空間#

（定義）ベクトル空間

空でない集合$V$上に加法とスカラー倍が定義され、以下の法則が満たされているとき、$V$ ベクトル空間 （vector space）、または、線型空間 （linear space）であるという

加法について、

$u+v=v+u$
$(u+v)+w=u+(v+w)$
$V$ の中に 0 で表される 1 つ元があって、 $V$ の任意の元 $v$ に対して $v+0=v$ が成り立つ
$V$ の任意の元 $v$ に対して $v+v^{\prime}=0$ となるような $V$ の元 $v^{\prime}$ が存在する

スカラー倍について

$c(u+v)=c u+c v$
$\left(c_1+c_2\right) v=c_1 v+c_2 v$
$\left(c_1 c_2\right) v=c_1\left(c_2 v\right)$
$1 v=v$

ここで$u, v, w \in V$、 $c, c_1, c_2 \in \mathbb{R}$である

内積空間#

内積空間 （inner product space, 計量空間 とも）は、内積が定義されたベクトル空間のこと。

定義

$\mathbb{R}$ 上のベクトル空間 $V$ において、任意の2つのベクトル $\boldsymbol{a}, \boldsymbol{b}$ に対して実数 $\langle \boldsymbol{a}, \boldsymbol{b} \rangle$ が定まり、次の(1)～(4)を満たすとき、$\langle \boldsymbol{a}, \boldsymbol{b} \rangle$ を $\boldsymbol{a}$ と $\boldsymbol{b}$ の内積という。

(1) $\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \langle \boldsymbol{b}, \boldsymbol{a} \rangle$

(2) $\langle \boldsymbol{a} + \boldsymbol{b}, \boldsymbol{c} \rangle = \langle \boldsymbol{a}, \boldsymbol{c} \rangle + \langle \boldsymbol{b}, \boldsymbol{c} \rangle$

(3) $\langle k \boldsymbol{a}, \boldsymbol{b} \rangle = k \langle \boldsymbol{a}, \boldsymbol{b} \rangle \quad (k \in \mathbb{R})$

(4) $\langle \boldsymbol{a}, \boldsymbol{a} \rangle \geqq 0$ で，$\langle \boldsymbol{a}, \boldsymbol{a} \rangle = 0 \Longleftrightarrow \boldsymbol{a} = \mathbf{0}$

内積の定義されたベクトル空間を 計量ベクトル空間 や 計量空間 、または 内積空間 という。

ノルム線型空間#

ノルム線型空間 （normed vector space, ノルム空間）は、ノルムの定義されたベクトル空間のこと。

（定義）ノルム

ノルム （norm）とは、以下を満たす関数 $\| \cdot \| : X \to \mathbb{R}$

$\|x\| \geq 0, x \in X$
$\|x\|=0 \Longleftrightarrow x=0$
$\|k x\|=|k|\|x\|, x \in X, k \in \mathbb{C}$
$\|x+y\| \leq\|x\|+\|y\|, x, y \in X$ (三角不等式)

バナッハ空間#

完備なノルム空間を バナッハ空間 （Banach space）という。

定義（バナッハ空間）

完備なノルム空間を バナッハ空間 (Banach space) という。

バナッハ空間とは～定義と具体例5つ～ | 数学の景色

数におけるコーシー列

実数または複素数またはその部分集合の列 $\{ a_n\}$ が コーシー列 (Cauchy sequence) であるとは、

任意の $\varepsilon>0$ に対し、ある $N \geq 1$ が存在して

\[ n, m \geq N \Longrightarrow |a_n-a_m|<\varepsilon \]

となることをいう。

ようは、$n,m$を大きくするにつれて$|a_n-a_m|$はどんどん小さくなるということ。

数における完備性

$A \subset \mathbb{R}(\mathbb{C})$ とする。集合 $A$ が完備 (complete)であるとは、 $A$ 上の任意のコーシー列 $\{a_n\} \subset A$ が $A$ 上の点に収束することである。

「実数集合$\mathbb{R}$や複素数集合$\mathbb{C}$は完備である」という定理もある

実数の連続性と密接な関係をもつ（実数の連続性 - Wikipedia）

距離空間におけるコーシー列

$(X, d)$ を距離空間とし， $\left\{a_n\right\} \subset X$ とする。これがコーシー列 (Cauchy sequence) であるとは,

任意の $\varepsilon>0$ に対し，ある $N \geq 1$ が存在して， $$ n, m \geq N \Longrightarrow d(a_n, a_m)<\varepsilon $$

となることをいう。

ようは、$n,m$を大きくするにつれて$d(a_n, a_m)$はどんどん小さくなるということ

距離空間における完備性

$(X, d)$ は距離空間とする。 $X$ が完備 (complete) であるとは， $X$ における任意のコーシー列が収束列になる(収束先が $X$ 上に存在する)ことである。

完備である距離空間を 完備距離空間 (complete metric space) という。

完備とは～実数の完備性・距離空間の完備性～ | 数学の景色

ヒルベルト空間#

完備な計量空間を ヒルベルト空間 という。

ベクトルの収束

計量空間 $\mathcal{L}$ の元の無限列 $\left\{\boldsymbol{u}_k\right\}$ が $k \rightarrow \infty$ で $\boldsymbol{u} \in \mathcal{L}$ に収束するとは、$\boldsymbol{u}_{\boldsymbol{k}}$ と $\boldsymbol{u}$ との距離が0に近づくこと、つまり$\lim _{k \rightarrow \infty}\left\|\boldsymbol{u}_k-\boldsymbol{u}\right\|=0$であると約束する。この収束を普通の収束と区別して ノルム収束 や 強収束 と呼ぶこともある。

計量空間$\mathcal{L}$の2つの元$\boldsymbol{u}, \boldsymbol{v}$が近いかどうかを測りたい場合を考える。計量空間には内積とノルムが定義されているので、ノルム$\| \boldsymbol{u}, \boldsymbol{v} \|$で距離を測ることができる。

計量空間 $\mathcal{L}$ の元の無限列 $\left\{\boldsymbol{u}_k\right\}$ が $\lim _{k, l \rightarrow \infty}\left\|\boldsymbol{u}_k-\boldsymbol{u}_l\right\|=0$ のとき、これを コーシー列 という。 $\mathcal{L}$ の任意のコーシー列が $\mathcal{L}$ のある元に収束するとき、 $\mathcal{L}$ は完備であるという。完備な計量空間を ヒルベルト空間 という。

ヒルベルト空間 （Hilbert space）は、ユークリッド空間の概念を一般化した空間で、二次元のユークリッド平面や三次元のユークリッド空間における線型代数学や微分積分学の方法論を、任意の有限または無限次元の空間へ拡張して持ち込むことができる。ヒルベルト空間は、内積の構造を備えた抽象ベクトル空間（内積空間）で、完備距離空間の構造を備えている（極限が十分に存在することが保証されている）ので、その中で微分積分学がきちんと展開できる。（ヒルベルト空間 - Wikipedia）

再生核ヒルベルト空間#

再生核ヒルベルト空間 （reproducing kernel hilbert space: RKHS）は点評価が連続線形汎函数であるような関数から成るヒルベルト空間

関数を「再生する」とは、関数の定義域内の任意の$x$に対して、その関数の「$x$での評価」が、核から生成される関数との内積をとることで可能であること。

内積計算が元空間のカーネルで計算できる → カーネルトリックが使える

再生核Hilbert空間 - 機械学習の「朱鷺の杜Wiki」

ガトー微分#

ガトー微分 （Gâteaux derivative）は微分学における方向微分の概念の一般化で、バナハ空間などの局所凸位相線型空間の間の函数に対して定義される。