ノルム線型空間とヒルベルト空間 - データサイエンス関連+αのメモ

ベクトル空間¶

（定義）ベクトル空間

空でない集合 $V$ 上に加法とスカラー倍が定義され、以下の法則が満たされているとき、 $V$ ベクトル空間 （vector space）、または、線型空間 （linear space）であるという

加法について、

$u+v=v+u$
$(u+v)+w=u+(v+w)$
$V$ の中に 0 で表される 1 つ元があって、 $V$ の任意の元 $v$ に対して $v+0=v$ が成り立つ
$V$ の任意の元 $v$ に対して $v+v^{\prime}=0$ となるような $V$ の元 $v^{\prime}$ が存在する

スカラー倍について

$c(u+v)=c u+c v$
$\left(c_1+c_2\right) v=c_1 v+c_2 v$
$\left(c_1 c_2\right) v=c_1\left(c_2 v\right)$
$1 v=v$

ここで $u, v, w \in V$ 、 $c, c_1, c_2 \in \mathbb{R}$ である

内積空間¶

内積空間 （inner product space, 計量空間 とも）は、内積が定義されたベクトル空間のこと。

定義

$\mathbb{R}$ 上のベクトル空間 $V$ において、任意の2つのベクトル $\boldsymbol{a}, \boldsymbol{b}$ に対して実数 $\langle \boldsymbol{a}, \boldsymbol{b} \rangle$ が定まり、次の(1)～(4)を満たすとき、 $\langle \boldsymbol{a}, \boldsymbol{b} \rangle$ を $\boldsymbol{a}$ と $\boldsymbol{b}$ の内積という。

(1) $\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \langle \boldsymbol{b}, \boldsymbol{a} \rangle$

(2) $\langle \boldsymbol{a} + \boldsymbol{b}, \boldsymbol{c} \rangle = \langle \boldsymbol{a}, \boldsymbol{c} \rangle + \langle \boldsymbol{b}, \boldsymbol{c} \rangle$

(3) $\langle k \boldsymbol{a}, \boldsymbol{b} \rangle = k \langle \boldsymbol{a}, \boldsymbol{b} \rangle \quad (k \in \mathbb{R})$

(4) $\langle \boldsymbol{a}, \boldsymbol{a} \rangle \geqq 0$ で， $\langle \boldsymbol{a}, \boldsymbol{a} \rangle = 0 \Longleftrightarrow \boldsymbol{a} = \mathbf{0}$

内積の定義されたベクトル空間を 計量ベクトル空間 や 計量空間 、または 内積空間 という。

ノルム線型空間¶

ノルム線型空間 （normed vector space, ノルム空間）は、ノルムの定義されたベクトル空間のこと。

完備な空間¶

完備性（イメージでいうと「隙間無く敷き詰まっている」こと）を満たすノルム空間や内積空間は別名がある。

ヒルベルト空間（Hilbert space） ：完備な内積空間
バナッハ空間（Banach space） ：完備なノルム空間

完備性¶

「実数集合 $\mathbb{R}$ や複素数集合 $\mathbb{C}$ は完備である」という定理もある

実数の連続性と密接な関係をもつ（実数の連続性 - Wikipedia）

ようは、 $n,m$ を大きくするにつれて $|a_n-a_m|$ はどんどん小さくなるということ。

完備とは～実数の完備性・距離空間の完備性～ | 数学の景色

ようは、 $n,m$ を大きくするにつれて $d(a_n, a_m)$ はどんどん小さくなるということ

バナッハ空間¶

バナッハ空間とは～定義と具体例5つ～ | 数学の景色

ヒルベルト空間¶

完備な計量空間を ヒルベルト空間（Hilbert space） という。

ベクトルの収束

計量空間 $\mathcal{L}$ の元の無限列 $\left\{\boldsymbol{u}_k\right\}$ が $k \rightarrow \infty$ で $\boldsymbol{u} \in \mathcal{L}$ に収束するとは、 $\boldsymbol{u}_{\boldsymbol{k}}$ と $\boldsymbol{u}$ との距離が0に近づくこと、つまり $\lim _{k \rightarrow \infty}\left\|\boldsymbol{u}_k-\boldsymbol{u}\right\|=0$ であると約束する。この収束を普通の収束と区別して ノルム収束 や 強収束 と呼ぶこともある。

計量空間 $\mathcal{L}$ の2つの元 $\boldsymbol{u}, \boldsymbol{v}$ が近いかどうかを測りたい場合を考える。計量空間には内積とノルムが定義されているので、ノルム $\| \boldsymbol{u}, \boldsymbol{v} \|$ で距離を測ることができる。

計量空間 $\mathcal{L}$ の元の無限列 $\left\{\boldsymbol{u}_k\right\}$ が $\lim _{k, l \rightarrow \infty}\left\|\boldsymbol{u}_k-\boldsymbol{u}_l\right\|=0$ のとき、これを コーシー列 という。 $\mathcal{L}$ の任意のコーシー列が $\mathcal{L}$ のある元に収束するとき、 $\mathcal{L}$ は完備であるという。完備な計量空間を ヒルベルト空間 という。

ヒルベルト空間 （Hilbert space）は、ユークリッド空間の概念を一般化した空間で、二次元のユークリッド平面や三次元のユークリッド空間における線型代数学や微分積分学の方法論を、任意の有限または無限次元の空間へ拡張して持ち込むことができる。ヒルベルト空間は、内積の構造を備えた抽象ベクトル空間（内積空間）で、完備距離空間の構造を備えている（極限が十分に存在することが保証されている）ので、その中で微分積分学がきちんと展開できる。（ヒルベルト空間 - Wikipedia）

再生核ヒルベルト空間¶

再生核ヒルベルト空間 （reproducing kernel hilbert space: RKHS）は点評価が連続線形汎函数であるような関数から成るヒルベルト空間

関数を「再生する」とは、関数の定義域内の任意の $x$ に対して、その関数の「 $x$ での評価」が、核から生成される関数との内積をとることで可能であること。

内積計算が元空間のカーネルで計算できる → カーネルトリックが使える

再生核Hilbert空間 - 機械学習の「朱鷺の杜Wiki」

ガトー微分¶

ガトー微分 （Gâteaux derivative）は微分学における方向微分の概念の一般化で、バナッハ空間などの局所凸位相線型空間の間の函数に対して定義される。