直交関数展開：ベクトルと関数の交差点

直交関数展開：ベクトルと関数の交差点#

まとめ#

Tip

ベクトル空間上の直交基底 ${e_{i}}$ の線形結合 $c_{0} e_{0} + c_{1} e_{e} + \dots + c_{n} e_{n}$ であらゆるベクトルを表せるのと同様に、関数においても 完備な直交関数系による近似によって任意の関数を表現できる

その近似は直交関数系 ${ϕ_{i} (x)}$ の線形結合 $c_{0} ϕ_{0} (x) + c_{1} ϕ_{1} (x) + \dots + c_{n} ϕ_{n} (x)$ なので、級数（ $\sum_{i = 1}^{\infty} c_{i} ϕ_{i} (x)$ など）で表現できる（→フーリエ級数）

../../_images/760c09a8f919ea7411b2e516b2e5c3a705184c2392ed621221e532ca8da1cceb.png

直交関数#

区間 $[a, b]$ 上の関数 $f (x), g (x)$ が

\int_{a}^{b} f (x) g (x) d x = 0

のとき 直交する という。

関数 $ϕ_{0} (x), ϕ_{1} (x), \dots, ϕ_{n} (x)$ が互いに直交するとき、すなわち

\int_{a}^{b} ϕ_{i} (x) ϕ_{j} (x) d x = 0, i \neq j

のとき、これらは区間 $[a, b]$ 上の 直交関数系 であるという。とくに $ϕ_{i} (x)$ が $x$ の多項式なら、これを 直交多項式 という。

直交多項式の例：ルジャンドルの多項式

次の関数 $P_{n} (x), n = 0, 1, 2, \dots$ , は $n$ 次の ルジャンドルの多項式 と呼ばれる。

\begin{array}{r} \begin{aligned} P_{0} (x) & = 1 \\ P_{1} (x) & = x \\ P_{2} (x) & = \frac{1}{2} (3 x^{2} - 1) \\ P_{3} (x) & = \frac{1}{2} (5 x^{3} - 3 x) \\ P_{4} (x) & = \frac{1}{8} (35 x^{4} - 30 x^{2} + 3) \\ P_{5} (x) & = \frac{1}{8} (63 x^{5} - 70 x^{3} + 15 x) \\ P_{6} (x) & = \frac{1}{16} (231 x^{6} - 315 x^{4} + 105 x^{2} - 5) \\ ⋮ \end{aligned} \end{array}

これらは区間 $[- 1, 1]$ 上の直交関数系であり, 次の直交関係が成立する.

\begin{array}{r} \int_{- 1}^{1} P_{n} (x) P_{m} (x) d x = {\begin{cases} \frac{2}{2 n + 1} & n = m のとき \\ 0 & n \neq m のとき \end{cases} \end{array}

$P_{n} (x)$ の一般式が次式で表せることが知られている（ロドリゲスの公式）.

P_{n} (x) = \frac{1}{2^{n} n!} \frac{d^{n} {(x^{2} - 1)}^{n}}{d x^{n}}

直交関数の例

\frac{1}{2}, \cos k x, \sin k x, k = 1, 2, 3, \dots

は区間 $[- π, π]$ 上の直交関数である。

（証明） $\cos k x, \sin k x, k = 1, 2, 3, \dots$ は周期 $2 π$ の周期関数であるから、 1 周期に渡る積分 $\int_{- π}^{π} \cos k x d x, \int_{- π}^{π} \sin k x d x$ は 0 である。このことから $\frac{1}{2}$ と $\cos k x$ , $\sin k x$ に対して次のようになる。

\int_{- π}^{π} \frac{1}{2} \cos k x d x = \int_{- π}^{π} \frac{1}{2} \sin k x d x = 0

$\cos k x, \sin l x$ に対しては次のようになる。

\int_{- π}^{π} \cos k x \sin l x d x = \frac{1}{2} \int_{- π}^{π} (\sin (k + l) x - \sin (k - l) x) d x = 0

$k \neq l$ のとき $\cos k x, \cos l x$ に対して次のようになる。

\int_{- π}^{π} \cos k x \cos l x d x = \frac{1}{2} \int_{- π}^{π} (\cos (k + l) x + \cos (k - l) x) d x = 0

$k \neq l$ のとき $\sin k x, \sin l x$ に対して次のようになる。

\int_{- π}^{π} \sin k x \sin l x d x = - \frac{1}{2} \int_{- π}^{π} (\cos (k + l) x - \cos (k - l) x) d x = 0

以上より $\frac{1}{2}, \cos k x, \sin k x, k = 1, 2, 3, \dots$ , が直交関数系であることが示された。

また次の関係も成り立つ。

\begin{array}{r} \begin{array}{c} \int_{- π}^{π} {(\frac{1}{2})}^{2} d x = \frac{π}{2} \\ \int_{- π}^{π} \cos^{2} k x d x = \frac{1}{2} \int_{- π}^{π} (1 + \cos 2 k x) d x = π \\ \int_{- π}^{π} \sin^{2} k x d x = \frac{1}{2} \int_{- π}^{π} (1 - \cos 2 k x) d x = π \end{array} \end{array}

最小二乗近似#

区間 $[a, b]$ 上の直交関数系 ${ϕ_{i} (x)}, i = 0, 1, \dots, n$ の線形結合で関数 $f (x)$ を近似する事を考える

f (x) \approx c_{0} ϕ_{0} (x) + c_{1} ϕ_{1} (x) + \dots + c_{n} ϕ_{n} (x)

このような近似は、画像や音声を表す信号を少量の数値のみで高速に伝送したり、メモリの記憶容量を削減するために用いられる。

近似の尺度として最小二乗法

J = \frac{1}{2} \int_{a}^{b} {(f (x) - c_{0} ϕ_{0} (x) - c_{1} ϕ_{1} (x) - \dots - c_{n} ϕ_{n} (x))}^{2} d x

min_{c_{0}, \dots, c_{n}} J

を用いると、各係数 $c_{i}$ は

c_{i} = \frac{\int_{a}^{b} f (x) ϕ_{i} (x) d x}{\int_{a}^{b} ϕ_{i} (x)^{2} d x}, i = 0, 1, \dots, n

となる

完備#

定義（完備）

直交関数系の無限列 ${ϕ_{i}}, i = 0, 1, 2, \dots$ があり、任意の連続関数 $f (x)$ の $ϕ_{0} (x), ϕ_{1} (x), ϕ_{2} (x), \dots, ϕ_{n} (x)$ による近似が $n \to \infty$ のときに $f (x)$ に収束するとき、直交関数系 ${ϕ_{i}}$ は 完備 (complete) であるといい、その収束する級数を関数 $f (x)$ の ${ϕ_{i}}$ による 直交関数展開 という。

フーリエ級数#

\frac{1}{2}, \cos k x, \sin k x, k = 1, 2, 3, \dots

は区間 $[- π, π]$ 上で完備であることが知られ、これらを用いる直交関数展開を フーリエ級数 (Fourier series) という。

関数 $f (x)$ の近似

f (x) \approx \frac{a_{0}}{2} + a_{1} \cos x + b_{1} \sin x + a_{2} \cos 2 x + b_{2} \sin 2 x + a_{3} \cos 3 x + b_{3} \sin 3 x + \dots

の係数 $a_{n}, b_{n}$ は次のようになる

a_{0} = \frac{1}{π} \int_{- π}^{π} f (x) d x, a_{k} = \frac{1}{π} \int_{- π}^{π} f (x) \cos k x d x, b_{k} = \frac{1}{π} \int_{- π}^{π} f (x) \sin k x d x

これらの係数を フーリエ係数 と呼ぶ。

例（フーリエ級数）#

次の関数 $f (x)$ を区間 $[- π, π]$ 上でフーリエ級数に展開せよ

\begin{array}{r} f (x) = {\begin{cases} 1 & 0 \leq x \leq π のとき \\ - 1 & - π \leq x < 0 のとき \end{cases} \end{array}

\begin{array}{r} \begin{aligned} a_{0} & = \frac{1}{π} (- \int_{- π}^{0} d x + \int_{0}^{π} d x) = \frac{- π + π}{π} = 0 \\ a_{k} & = \frac{1}{π} (- \int_{- π}^{0} \cos k x d x + \int_{0}^{π} \cos k x d x) \\ = \frac{1}{π} (- {[\frac{\sin k x}{k}]}_{- π}^{0} + {[\frac{\sin k x}{k}]}_{0}^{π}) = 0 \\ b_{k} & = \frac{1}{π} (- \int_{- π}^{0} \sin k x d x + \int_{0}^{π} \sin k x d x) = \frac{1}{π} ({[\frac{\cos k x}{k}]}_{- π}^{0} - {[\frac{\cos k x}{k}]}_{0}^{π}) \\ = \frac{1}{π} (\frac{1 - \cos (- π) k}{k} - \frac{\cos π k - 1}{k}) = \frac{2 (1 - (- 1)^{k})}{k π} \end{aligned} \end{array}

よって、次のようになる

f (x) = \frac{4}{π} \sin x + \frac{4}{3 π} \sin 3 x + \frac{4}{5 π} \sin 5 x + \frac{4}{7 π} \sin 7 x + \dots

この近似を $\hat{f} (x, n) = \sum_{k = 1}^{n} b_{k} \cdot \sin k x$ とおく。pythonで計算すると次の図のようになる

../../_images/c08f121f1e1d4ddb19ef7e204e03244854777104f3b61c2f73a157668738c213.png

直交展開#

計量空間の元 $e_{1}, e_{2}, \dots, e_{n}$ が互いに直交するとき、すなわち

(e_{i}, e_{j}) = 0, i \neq j

のとき、これらは 直交系 であるという。特に、すべてがノルム $1 (‖ e_{i} ‖ = 1$ , $i = 1, \dots, n)$ のとき、これを 正規直交系 という。式で書くと次のようになる。

(e_{i}, e_{j}) = δ_{i j}

ただし $δ_{i j}$ はクロネッカーのデルタである

線形結合による表現#

計量空間 $L$ の直交系 ${e_{i}}, i = 1, \dots, n$ を用いて、任意の元 $u \in L$ を線形結合で

u \approx c_{1} e_{1} + c_{2} e_{2} + \dots + c_{n} e_{n}

と近似することを考える。

二乗誤差

J = \frac{1}{2} {‖ u - (c_{1} e_{1} + c_{2} e_{2} + \dots + c_{n} e_{n}) ‖}^{2}

を用いて最小二乗法で近似すると、解は

c_{i} = \frac{(u, e_{i})}{{‖ e_{i} ‖}^{2}} i = 1, \dots, n

となる。

計量空間 $L$ の直交系 ${e_{i}}, i = 1, \dots, n$ を用いて、任意の元 $u \in L$ を線形結合で等号で

u = c_{1} e_{1} + c_{2} e_{2} + \dots + c_{n} e_{n}

と表される場合に、係数 $c_{i}$ は最小二乗法による近似と同じ解

c_{i} = \frac{(u, e_{i})}{‖ e_{i} ‖^{2}}

になる

直交射影#

元 $u$ を直交系 $e_{1}, e_{2}, \dots, e_{n}$ の線形結合の集合 $V_{n}$ （ ${e_{i}}$ の張る部分空間）で近似することを考える。

u \approx c_{1} e_{1} + c_{2} e_{2} + \dots + c_{n} e_{n}

最小二乗近似したものは

c_{i} = \frac{(u, e_{i})}{‖ e_{i} ‖^{2}}

より

\hat{u} = \sum_{i = 1}^{n} \frac{(u, e_{i})}{‖ e_{i} ‖^{2}} e_{i}

と書くことができる。 $\hat{u}$ の幾何学的な解釈としては、 $u$ から ${e_{i}}$ の張る部分空間へと下ろした「垂線の足」となる。このことから、 $\hat{u}$ は ${e_{i}}$ の張る部分空間 $V_{n}$ への （直交）射影 と呼ぶ。

直交基底#

直交系 $e_{1}, e_{2}, \dots, e_{n}$ （ $n = \infty$ でもよい）による、計量空間 $L$ の元 $u$ の最小二乗近似 $\hat{u}$ が $u$ に一致するとき（ $n = \infty$ のときは $n \to \infty$ で $u$ に収束するとき）、 ${e_{i}}$ は $L$ の 直交基底 であるという。

このとき $L$ は $n$ 次元計量空間 （ $n = \infty$ なら 無限次元計量空間 ）であるという。

直交基底の線形結合で表すことを 直交展開 という。

直交基底の例：ルジャンドルの多項式

ルジャンドルの多項式 $P_{n} (x)$

P_{n} (x) = \frac{1}{2^{n} n!} \frac{d^{n} {(x^{2} - 1)}^{n}}{d x^{n}}

は区間 $[- 1, 1]$ 上の連続関数の直交基底である

\begin{array}{r} \int_{- 1}^{1} P_{n} (x) P_{m} (x) d x = {\begin{cases} \frac{2}{2 n + 1} & n = m のとき \\ 0 & n \neq m のとき \end{cases} \end{array}

パーセバルの式#

$L$ を計量空間とする。 $u, v \in L$ について、正規直交基底 ${e_{i}}, i = 1, \dots, n$ で

\begin{array}{r} \begin{aligned} u & = c_{1} e_{1} + c_{2} e_{2} + \dots + c_{n} e_{n} \\ v & = d_{1} e_{1} + d_{2} e_{2} + \dots + d_{n} e_{n} \end{aligned} \end{array}

と表したとする。このとき、次の パーセバル（・プランシュレル）の式 が成り立つ（ $n = \infty$ でも成り立つ）

(u, v) = \sum_{i = 1}^{n} c_{i} d_{i}, ‖ u ‖^{2} = \sum_{i = 1}^{n} c_{i}^{2}

参考#

金谷健一. (2003). これなら分かる応用数学教室: 最小二乗法からウェーブレットまで.