応用数学 ch2メモ（直交関数展開）

まとめ

Tip

ベクトル空間上の正規直交基底であらゆるベクトルを表せるのと同様に、関数においても 完備な直交関数系による近似によって任意の関数を表現できる

その近似は直交関数系\(\{\phi_i(x)\}\)の線形結合\(c_0 \phi_0(x)+c_1 \phi_1(x)+\cdots+c_n \phi_n(x)\)なので、級数（\(\sum_{i=1}^{\infty} c_i \phi_i(x)\) など）で表現できる（→フーリエ級数）

直交関数展開

区間 \([a, b]\) 上の関数 \(f(x), g(x)\) が

\[ \int_a^b f(x) g(x) \mathrm{d} x=0 \]

のとき 直交する という。

関数 \(\phi_0(x), \phi_1(x), \ldots, \phi_n(x)\) が互いに直交するとき、すなわち

\[ \int_a^b \phi_i(x) \phi_j(x) \mathrm{d} x=0, \quad i \neq j \]

のとき、これらは区間\([a,b]\)上の 直交関数系 であるという。とくに\(\phi_i(x)\)が\(x\)の多項式なら、これを 直交多項式 という。

直交多項式の例：ルジャンドルの多項式

次の関数 \(P_n(x), n=0,1,2, \ldots\), は \(n\) 次の ルジャンドルの多項式 と呼ばれる。

\[\begin{split} \begin{aligned} P_0(x) &= 1 \\ P_1(x) &= x \\ P_2(x) &= \frac{1}{2}\left(3 x^2-1\right) \\ P_3(x) &= \frac{1}{2}\left(5 x^3-3 x\right) \\ P_4(x) &= \frac{1}{8}\left(35 x^4-30 x^2+3\right) \\ P_5(x) &= \frac{1}{8}\left(63 x^5-70 x^3+15 x\right) \\ P_6(x) &= \frac{1}{16}\left(231 x^6-315 x^4+105 x^2-5\right)\\ & \vdots \end{aligned} \end{split}\]

これらは区間 \([-1,1]\) 上の直交関数系であり, 次の直交関係が成立する.

\[\begin{split} \int_{-1}^1 P_n(x) P_m(x) \mathrm{d} x= \begin{cases}\frac{2}{2 n+1} & n=m \text { のとき } \\ 0 & n \neq m \text { のとき }\end{cases} \end{split}\]

\(P_n(x)\) の一般式が次式で表せることが知られている（ロドリゲスの公式）.

\[ P_n(x)=\frac{1}{2^n n!} \frac{\mathrm{d}^n\left(x^2-1\right)^n}{\mathrm{~d} x^n} \]

直交関数の例

\[ \frac{1}{2}, \cos k x, \sin k x,\quad k=1,2,3, \ldots \]

は区間 \([-\pi, \pi]\) 上の直交関数である。

（証明） \(\cos k x, \sin k x, k=1,2,3, \ldots\) は周期 \(2 \pi\) の周期関数であるから、 1 周期 に渡る積分 \(\int_{-\pi}^\pi \cos k x \mathrm{~d} x, \int_{-\pi}^\pi \sin k x \mathrm{~d} x\) は 0 である。このことから \(\frac{1}{2}\) と \(\cos k x\), \(\sin k x\) に対して次のようになる。

\[ \int_{-\pi}^\pi \frac{1}{2} \cos k x \mathrm{~d} x=\int_{-\pi}^\pi \frac{1}{2} \sin k x \mathrm{~d} x=0 \]

\(\cos k x, \sin l x\) に対しては次のようになる。

\[ \int_{-\pi}^\pi \cos k x \sin l x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(\sin (k+l) x-\sin (k-l) x) \mathrm{d} x=0 \]

\(k \neq l\) のとき \(\cos k x, \cos l x\) に対して次のようになる。

\[ \int_{-\pi}^\pi \cos k x \cos l x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(\cos (k+l) x+\cos (k-l) x) \mathrm{d} x=0 \]

\(k \neq l\) のとき \(\sin k x, \sin l x\) に対して次のようになる。

\[ \int_{-\pi}^\pi \sin k x \sin l x \mathrm{~d} x=-\frac{1}{2} \int_{-\pi}^\pi(\cos (k+l) x-\cos (k-l) x) \mathrm{d} x=0 \]

以上より \(\frac{1}{2}, \cos k x, \sin k x, k=1,2,3, \ldots\), が直交関数系であることが示された。

また次の関係も成り立つ。

\[\begin{split} \begin{gathered} \int_{-\pi}^\pi\left(\frac{1}{2}\right)^2 \mathrm{~d} x=\frac{\pi}{2} \\ \int_{-\pi}^\pi \cos ^2 k x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(1+\cos 2 k x) \mathrm{d} x=\pi \\ \int_{-\pi}^\pi \sin ^2 k x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(1-\cos 2 k x) \mathrm{d} x=\pi \end{gathered} \end{split}\]

最小二乗近似

区間\([a,b]\)上の直交関数系\(\{\phi_i(x)\}, i=0,1,\cdots,n\)の線形結合で関数\(f(x)\)を近似する事を考える

\[ f(x) \approx c_0 \phi_0(x)+c_1 \phi_1(x)+\cdots+c_n \phi_n(x) \]

このような近似は、画像や音声を表す信号を少量の数値のみで高速に伝送したり、メモリの記憶容量を削減するために用いられる。

近似の尺度として最小二乗法

\[ J=\frac{1}{2} \int_a^b\left(f(x)-c_0 \phi_0(x)-c_1 \phi_1(x)-\cdots-c_n \phi_n(x)\right)^2 \mathrm{~d} x \]

\[ \min_{c_0,\cdots,c_n} J \]

を用いると、各係数\(c_i\)は

\[ c_i=\frac{\int_a^b f(x) \phi_i(x) \mathrm{d} x}{\int_a^b \phi_i(x)^2 \mathrm{~d} x}, \quad i=0,1, \ldots, n \]

となる

証明

\[\begin{split} \begin{aligned} \frac{\partial J}{\partial c_i}= & -\int_a^b\left(f(x)-c_0 \phi_0(x)-c_1 \phi_1(x)-\cdots-c_n \phi_n(x)\right) \phi_i(x) \mathrm{d} x \\ = & -\left(\int_a^b f(x) \phi_i(x) \mathrm{d} x-c_0 \int_a^b \phi_0(x) \phi_i(x) \mathrm{d} x\right. \\ & \left.\quad-c_1 \int_a^b \phi_1(x) \phi_i(x) \mathrm{d} x-\cdots-c_n \int_a^b \phi_n(x) \phi_i(x) \mathrm{d} x\right) \\ & =-\left(\int_a^b f(x) \phi_i(x) \mathrm{d} x-c_i \int_a^b \phi_i(x)^2 \mathrm{~d} x\right) \end{aligned} \end{split}\]

これを0とおくと、係数が求まる

完備

定義（完備）

直交関数系の無限列 \(\left\{\phi_i\right\}, i=0,1,2, \cdots\) があり、任意の連続関数 \(f(x)\) の \(\phi_0(x), \phi_1(x), \phi_2(x), \cdots, \phi_n(x)\) による近似が \(n \rightarrow \infty\) のときに \(f(x)\) に収束するとき、 直交関数系 \(\left\{\phi_i\right\}\) は 完備 (complete) であるといい、 その収束する級数を関数 \(f(x)\) の \(\left\{\phi_i\right\}\) による 直交関数展開 という。

フーリエ級数

\[ \frac{1}{2}, \cos k x, \sin k x,\quad k=1,2,3, \ldots \]

は区間\([-\pi,\pi]\)上で完備であることが知られ、これらを用いる直交関数展開を フーリエ級数 (Fourier series) という。

関数\(f(x)\)の近似

\[ f(x) \approx \frac{a_0}{2}+a_1 \cos x+b_1 \sin x+a_2 \cos 2 x+b_2 \sin 2 x+a_3 \cos 3 x+b_3 \sin 3 x+\cdots \]

の係数\(a_n, b_n\)は次のようになる

\[ a_0=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \mathrm{d} x, \quad a_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \cos k x \mathrm{~d} x, \quad b_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \sin k x \mathrm{~d} x \]

これらの係数を フーリエ係数 と呼ぶ。

例（フーリエ級数）

次の関数 \(f(x)\) を区間 \([-\pi, \pi]\) 上でフーリエ級数に展開せよ

\[\begin{split} f(x)=\begin{cases} 1 & 0 \leq x \leq \pi \text { のとき } \\ -1 & -\pi \leq x<0 \text { のとき } \end{cases} \end{split}\]

\[\begin{split} \begin{aligned} a_0 & =\frac{1}{\pi}\left(-\int_{-\pi}^0 \mathrm{~d} x+\int_0^\pi \mathrm{d} x\right)=\frac{-\pi+\pi}{\pi}=0 \\ a_k & =\frac{1}{\pi}\left(-\int_{-\pi}^0 \cos k x \mathrm{~d} x+\int_0^\pi \cos k x \mathrm{~d} x\right) \\ & =\frac{1}{\pi}\left(-\left[\frac{\sin k x}{k}\right]_{-\pi}^0+\left[\frac{\sin k x}{k}\right]_0^\pi\right)=0 \\ b_k & =\frac{1}{\pi}\left(-\int_{-\pi}^0 \sin k x \mathrm{~d} x+\int_0^\pi \sin k x \mathrm{~d} x\right)=\frac{1}{\pi}\left(\left[\frac{\cos k x}{k}\right]_{-\pi}^0-\left[\frac{\cos k x}{k}\right]_0^\pi\right) \\ & =\frac{1}{\pi}\left(\frac{1-\cos (-\pi) k}{k}-\frac{\cos \pi k-1}{k}\right)=\frac{2\left(1-(-1)^k\right)}{k \pi} \end{aligned} \end{split}\]

よって、次のようになる

\[ f(x)=\frac{4}{\pi} \sin x+\frac{4}{3 \pi} \sin 3 x+\frac{4}{5 \pi} \sin 5 x+\frac{4}{7 \pi} \sin 7 x+\cdots \]

この近似を \(\hat{f}(x, n) = \sum_{k=1}^n b_k \cdot \sin kx\) とおく。pythonで計算すると次の図のようになる

Show code cell source Hide code cell source

import matplotlib.pyplot as plt
import numpy as np

def f(x: np.array) -> np.array:
    y = np.zeros_like(x)
    y[(0 <= x) & (x <= np.pi)] = 1
    y[(-np.pi <= x) & (x < 0)] = -1
    return y

# a_0, a_k が 0なので、 b_k （sinの係数）のみが残る
def b(k):
    return (2 * (1 - (-1)**k)) / (k * np.pi)

def f_hat(x: np.array, n: int) -> np.array:
    approx = np.zeros_like(x)
    for k in range(1, n+1):
        approx += b(k) * np.sin(k * x)
    return approx


fig, ax = plt.subplots()
x = np.linspace(-np.pi, np.pi, 500)
ax.plot(x, f(x), label="$f(x)$", color="black")
ax.plot(x, f_hat(x, n=1), label=r"$\hat{f}(x, n=1)$", linestyle="--", alpha=0.7)
ax.plot(x, f_hat(x, n=5), label=r"$\hat{f}(x, n=5)$", linestyle="--", alpha=0.7)
ax.plot(x, f_hat(x, n=100), label=r"$\hat{f}(x, n=100)$", linestyle="--", alpha=0.7)
ax.plot(x, f_hat(x, n=1000), label=r"$\hat{f}(x, n=1000)$", linestyle="--", alpha=0.7)
ax.set(xlabel="x", title=r"Approximating $f(x)$ by Fourier series")
ax.legend()
fig.show()

直交射影

元\(\boldsymbol{u}\)を直交系\(\boldsymbol{e}_1, \boldsymbol{e}_2, \ldots, \boldsymbol{e}_n\)の線形結合の集合\(\mathcal{V}_n\)（\(\{\boldsymbol{e}_i\}\)の張る部分空間）で近似することを考える。

\[ \boldsymbol{u} \approx c_1 \boldsymbol{e}_1+c_2 \boldsymbol{e}_2+\cdots+c_n \boldsymbol{e}_n \]

最小二乗近似したものは

\[ c_i = \frac{ (\boldsymbol{u}, \boldsymbol{e}_i) }{ \|\boldsymbol{e}_i\|^2 } \]

より

\[ \hat{\boldsymbol{u}} = \sum_{i=1}^n \frac{ (\boldsymbol{u}, \boldsymbol{e}_i) }{ \|\boldsymbol{e}_i\|^2 } \boldsymbol{e}_i \]

と書くことができる。\(\hat{\boldsymbol{u}}\)の幾何学的な解釈としては、\(\boldsymbol{u}\)から\(\{\boldsymbol{e}_i\}\)の張る部分空間へと下ろした「垂線の足」となる。 このことから、\(\hat{\boldsymbol{u}}\)は\(\{\boldsymbol{e}_i\}\)の張る部分空間\(\mathcal{V}_n\)への （直交）射影 と呼ぶ。

直交基底

直交系\(\boldsymbol{e}_1, \boldsymbol{e}_2, \ldots, \boldsymbol{e}_n\)（\(n=\infty\)でもよい）による、計量空間\(\mathcal{L}\)の元\(\boldsymbol{u}\)の最小二乗近似\(\hat{\boldsymbol{u}}\)が\(\boldsymbol{u}\)に一致するとき（\(n=\infty\)のときは\(n\to \infty\)で\(\boldsymbol{u}\)に収束するとき）、\(\{\boldsymbol{e}_i\}\)は\(\mathcal{L}\)の 直交基底 であるという。

このとき\(\mathcal{L}\)は \(n\)次元計量空間 （\(n=\infty\)なら 無限次元計量空間 ）であるという。

直交基底の線形結合で表すことを 直交展開 という。

直交基底の例：ルジャンドルの多項式

ルジャンドルの多項式\(P_n(x)\)

\[ P_n(x)=\frac{1}{2^n n!} \frac{\mathrm{d}^n\left(x^2-1\right)^n}{\mathrm{~d} x^n} \]

は区間\([-1,1]\)上の連続関数の直交基底である

\[\begin{split} \int_{-1}^1 P_n(x) P_m(x) \mathrm{d} x= \begin{cases}\frac{2}{2 n+1} & n=m \text { のとき } \\ 0 & n \neq m \text { のとき }\end{cases} \end{split}\]

パーセバルの式

\(\mathcal{L}\)を計量空間とする。\(\boldsymbol{u}, \boldsymbol{v} \in \mathcal{L}\)について、正規直交基底\(\{\boldsymbol{e}_i\}, i=1,\dots,n\)で

\[\begin{split} \begin{aligned} \boldsymbol{u}&=c_1 \boldsymbol{e}_1+c_2 \boldsymbol{e}_2+\cdots+c_n \boldsymbol{e}_n \\ \boldsymbol{v}&=d_1 \boldsymbol{e}_1+d_2 e_2+\cdots+d_n \boldsymbol{e}_n \end{aligned} \end{split}\]

と表したとする。このとき、次の パーセバル（・プランシュレル）の式 が成り立つ（\(n=\infty\)でも成り立つ）

\[ (\boldsymbol{u}, \boldsymbol{v})=\sum_{i=1}^n c_i d_i, \quad\|\boldsymbol{u}\|^2=\sum_{i=1}^n c_i^2 \]

証明

1つめの式は

\[\begin{split} \begin{aligned} (\boldsymbol{u}, \boldsymbol{v}) &= \left( \sum_{i=1}^n c_i \boldsymbol{e}_i, \sum_{j=1}^n d_j \boldsymbol{e}_j \right)\\ &= \sum_{i=1}^n c_i \left( \boldsymbol{e}_i, \sum_{j=1}^n d_j \boldsymbol{e}_j \right) \quad (\because 内積の線形性)\\ &= \sum_{i=1}^n \sum_{j=1}^n c_i d_j \left( \boldsymbol{e}_i, \boldsymbol{e}_j \right) \quad (\because 内積の線形性)\\ &= \sum_{i=1}^n \sum_{j=1}^n c_i d_j \delta_{ij} \quad (\because \boldsymbol{e}は 正規直交基底)\\ &= \sum_{i=1}^n c_i d_i \end{aligned} \end{split}\]

2つめの式は

\[\begin{split} \begin{aligned} \|\boldsymbol{u}\|^2 &= (\boldsymbol{u}, \boldsymbol{u})\\ &= (\sum_{i=1}^n c_i \boldsymbol{e}_i, \sum_{j=1}^n c_j \boldsymbol{e}_j)\\ &= \sum_{i=1}^n \sum_{j=1}^n c_i c_j (\boldsymbol{e}_i, \boldsymbol{e}_j)\\ &= \sum_{i=1}^n \sum_{j=1}^n c_i c_j \delta_{ij}\\ &= \sum_{i=1}^n c_i^2\\ \end{aligned} \end{split}\]

例題

例2.6

例2.6

関数 \(f(x)\) を区間 \([-\pi, \pi]\) 上で \(\frac{1}{2}, \cos k x, \sin k x, k=1,2,3, \ldots, \) によって近似せよ

次のように表せる。

\[ f(x) \approx \frac{a_0}{2}+a_1 \cos x+b_1 \sin x+a_2 \cos 2 x+b_2 \sin 2 x+a_3 \cos 3 x+b_3 \sin 3 x+\cdots \]

係数\(a_n, b_n\)は次のようになる

\[ a_0=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \mathrm{d} x , \quad a_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \cos k x \mathrm{~d} x , \quad b_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \sin k x \mathrm{~d} x \]

直交関数系 \(\left\{\phi_i\right\}, (i=0,1,2, \cdots)\) の線形結合で関数\(f(x)\)を

\[ f(x) \approx c_0 \phi_0(x)+c_1 \phi_1(x)+\cdots+c_n \phi_n(x) \]

のように近似する事を考える。今回は\(\left\{\phi_i\right\} = \{ \frac{1}{2}, \cos k x, \sin k x, \cdots \}, (k=1,2,3,\cdots)\) であるため、 \(\frac{1}{2}, \cos k x, \sin k x\)に対する係数をそれぞれ\(a_0, a_k, b_k\)とおくと、

\[ f(x) \approx a_0 \frac{1}{2}+a_1 \cos x+b_1 \sin x+a_2 \cos 2 x+b_2 \sin 2 x+a_3 \cos 3 x+b_3 \sin 3 x+\cdots \]

となる。

p.34、式(2.13)の定理より、最小二乗近似の係数は一般に

\[ c_i=\frac{\int_a^b f(x) \phi_i(x) \mathrm{d} x}{\int_a^b \phi_i(x)^2 \mathrm{~d} x}, \quad i=0,1, \ldots, n \]

となる。

これに当てはめると、まず\(a_0\)は

\[ a_0 = \frac {\int_{-\pi}^{\pi} f(x) \frac{1}{2} \mathrm{~d} x} {\int_{-\pi}^{\pi} (\frac{1}{2})^2 \mathrm{~d} x} \]

分子のほうは定数は積分の外に出せるという定理 \(\int_a^b k f(x) d x=k \int_a^b f(x) d x, k\in\mathbb{R}\) より

\[ \int_{-\pi}^{\pi} f(x) \frac{1}{2} \mathrm{~d} x = \frac{1}{2} \int_{-\pi}^{\pi} f(x) \mathrm{~d} x \]

分母は

\[\begin{split} \begin{aligned} \int_{-\pi}^{\pi} \left( \frac{1}{2} \right)^2 \mathrm{~d} x &= \left[ \left( \frac{1}{2} \right)^2 x \right]_{-\pi}^{\pi} \\ &= \pi \left( \frac{1}{2} \right)^2 - \left(-\pi \left(\frac{1}{2} \right)^2 \right) \\ &= \frac{1}{4} \cdot 2\pi \\ &= \frac{1}{2} \pi \\ \end{aligned} \end{split}\]

となるので

\[\begin{split} \begin{aligned} a_0 &= \frac {\int_{-\pi}^{\pi} f(x) \frac{1}{2} \mathrm{~d} x} {\int_{-\pi}^{\pi} (\frac{1}{2})^2 \mathrm{~d} x} \\ &= \frac {\frac{1}{2} \int_{-\pi}^{\pi} f(x) \mathrm{~d} x} {\frac{1}{2} \pi} \\ &= \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \mathrm{~d} x \end{aligned} \end{split}\]

つづいて\(a_k\)は

\[ a_k = \frac {\int_{-\pi}^{\pi} f(x) \cos k x \mathrm{~d} x} {\int_{-\pi}^{\pi} (\cos k x)^2 \mathrm{~d} x} = \frac {\int_{-\pi}^{\pi} f(x) \cos k x \mathrm{~d} x} {\pi} = \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \cos k x \mathrm{~d} x \]

となる。なぜなら、

\[\begin{split} \begin{aligned} \int_{-\pi}^{\pi} \cos^2 x ~dx &= \int_{-\pi}^{\pi} \frac{ 1 + \cos 2 x }{ 2 } ~dx \quad (\because 2倍角の公式)\\ &= \frac{1}{2} \int_{-\pi}^{\pi} (1 + \cos 2x) ~dx\\ &= \left[\frac{1}{2} (x + \frac{1}{2} \sin 2x) \right]_{-\pi}^{\pi}\\ &= \left[ \frac{1}{2} x + \frac{1}{4} \sin 2x \right]_{-\pi}^{\pi}\\ &= \frac{1}{2} \pi + \frac{1}{4} \underbrace{ \sin 2 \pi }_{=0} - (- \frac{1}{2} \pi - \frac{1}{4} \underbrace{ \sin 2 \pi }_{=0})\\ &= \frac{1}{2} \pi + \frac{1}{2} \pi\\ &= \pi \end{aligned} \end{split}\]

のため。（実際は\(\cos^2 x\)ではなく\(\cos^2 kx\)だが、\(\sin \pi = 0\)なので2倍でも\(k\)倍でも一緒）

\[ b_k = \frac {\int_{-\pi}^{\pi} f(x) \sin k x \mathrm{~d} x} {\int_{-\pi}^{\pi} (\sin k x)^2 \mathrm{~d} x} = \frac {\int_{-\pi}^{\pi} f(x) \sin k x \mathrm{~d} x} {\pi} = \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin k x \mathrm{~d} x \]

\[\begin{split} \begin{aligned} \int_{-\pi}^{\pi} \sin^2 x ~dx &= \int_{-\pi}^{\pi} \frac{ 1 - \cos 2 x }{ 2 } ~dx \quad (\because 2倍角の公式)\\ &= \frac{1}{2} \int_{-\pi}^{\pi} (1 - \cos 2x) ~dx\\ &= \left[\frac{1}{2} (x + \frac{1}{2} \sin 2x) \right]_{-\pi}^{\pi}\\ &= \left[ \frac{1}{2} x + \frac{1}{4} \sin 2x \right]_{-\pi}^{\pi}\\ &= \frac{1}{2} \pi + \frac{1}{4} \underbrace{ \sin 2 \pi }_{=0} - (- \frac{1}{2} \pi - \frac{1}{4} \underbrace{ \sin 2 \pi }_{=0})\\ &= \frac{1}{2} \pi + \frac{1}{2} \pi\\ &= \pi \end{aligned} \end{split}\]

例2.24

例2.24

近似の尺度として最小二乗法

\[ J=\frac{1}{2}\left\|\boldsymbol{u}-\left(c_1 \boldsymbol{e}_1+c_2 \boldsymbol{e}_2+\cdots+c_n \boldsymbol{e}_n\right)\right\|^2 \rightarrow \min \]

を用いると, 各係数 \(c_i\) は

\[ c_i=\frac{\left(\boldsymbol{u}, \boldsymbol{e}_i\right)}{\left\|\boldsymbol{e}_i\right\|^2}, \quad i=1, \ldots, n \]

となり, 特に \(\left\{e_i\right\}\) が正規直交系のときは

\[ c_i=\left(\boldsymbol{u}, \boldsymbol{e}_i\right), \quad i=1, \ldots, n \]

となることを示せ.

書籍の回答例

\(J\)を \(c_i\) で偏微分すると次のようになる。

\[\begin{split} \begin{aligned} \frac{\partial J}{\partial c_i} &=\frac{1}{2} \frac{\partial}{\partial c_i}\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j, \boldsymbol{u}-\sum_{k=1}^n c_k \boldsymbol{e}_k\right) \\ & =\frac{1}{2}\left(-\boldsymbol{e}_i, \boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j\right)+\frac{1}{2}\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right) \\ & =\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right)\\ &=\sum_{j=1}^n c_j\left(\boldsymbol{e}_j, \boldsymbol{e}_i\right)-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \\ & =\sum_{j=1}^n c_j \delta_{i j}\left\|\boldsymbol{e}_j\right\|^2-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \\ &=c_i\left\|\boldsymbol{e}_i\right\|^2-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \end{aligned} \end{split}\]

これを0とおいて解くと求まる

\[\begin{split} c_i \|\boldsymbol{e}_i\|^2 - (\boldsymbol{u}, \boldsymbol{e}_i) = 0 \\ \iff c_i \|\boldsymbol{e}_i\|^2 = (\boldsymbol{u}, \boldsymbol{e}_i)\\ \iff c_i = \frac{ (\boldsymbol{u}, \boldsymbol{e}_i) }{ \|\boldsymbol{e}_i\|^2 }\\ \end{split}\]

\[\begin{split} \begin{aligned} J &= \frac{1}{2} \left\|\boldsymbol{u}-\left(c_1 \boldsymbol{e}_1+c_2 \boldsymbol{e}_2+\cdots+c_n \boldsymbol{e}_n\right)\right\|^2 \\ &= \frac{1}{2} \left\|\boldsymbol{u}- \sum^n_{j=1} c_j \boldsymbol{e}_j \right\|^2 \\ &= \frac{1}{2} \left ( \boldsymbol{u}- \sum^n_{j=1} c_j \boldsymbol{e}_j, \boldsymbol{u}- \sum^n_{j=1} c_j \boldsymbol{e}_j \right) \end{aligned} \end{split}\]

内積の微分は

\[ \frac{d}{d x} \langle \boldsymbol{f}(x), \boldsymbol{g}(x) \rangle = \left \langle \frac{d \boldsymbol{f}(x)}{d x}, \boldsymbol{g}(x) \right \rangle +\left \langle \boldsymbol{f}(x), \frac{d \boldsymbol{g}(x)}{d x}\right \rangle \]

となるため、

\[\begin{split} \begin{aligned} \frac{\partial J}{\partial c_i} &=\frac{1}{2} \frac{\partial}{\partial c_i}\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j, \boldsymbol{u}-\sum_{k=1}^n c_k \boldsymbol{e}_k\right) \\ &=\frac{1}{2}\left(-\boldsymbol{e}_i, \boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j\right) +\frac{1}{2}\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right) \\ &=\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right) \quad (\because 内積の対称性)\\ \end{aligned} \end{split}\]

参考：内積の微分

内積の微分は

\[ \boldsymbol{f}(x) = (f_1(x), \cdots, f_n(x)) \boldsymbol{g}(x) = (g_1(x), \cdots, g_n(x)) \]

とすると

\[\begin{split} \begin{aligned} \frac{d}{d x} \langle \boldsymbol{f}(x), \boldsymbol{g}(x) \rangle &= \frac{d}{d x} \left( \sum_{i=1}^n f_i(x) g_i(x) \right)\\ &= \sum_{i=1}^n \frac{d}{d x} \left( f_i(x) g_i(x) \right)\\ &= \sum_{i=1}^n \left( \frac{d f_i(x)}{d x} g_i(x) + f_i(x) \frac{d g_i(x)}{d x} \right) \quad (積の微分公式) \\ &= \sum_{i=1}^n \frac{d f_i(x)}{d x} g_i(x) + \sum_{i=1}^n f_i(x) \frac{d g_i(x)}{d x} \\ &= \left \langle \frac{d \boldsymbol{f}(x)}{d x}, \boldsymbol{g}(x) \right \rangle +\left \langle \boldsymbol{f}(x), \frac{d \boldsymbol{g}(x)}{d x}\right \rangle \end{aligned} \end{split}\]

となる

大学物理のフットノート|物理数学|ベクトルの微分公式(基本編)

\[\begin{split} \begin{aligned} \left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right) &= \left(\boldsymbol{u}, -\boldsymbol{e}_i\right) - \left(\sum_{j=1}^n c_j \boldsymbol{e}_j, -\boldsymbol{e}_i\right) \quad \because内積の線形性\\ &= \left(\sum_{j=1}^n c_j \boldsymbol{e}_j, \boldsymbol{e}_i\right) -\left(\boldsymbol{u}, \boldsymbol{e}_i\right)\\ &= \sum_{j=1}^n c_j \left(\boldsymbol{e}_j, \boldsymbol{e}_i\right) -\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \quad \because内積の線形性\\ & =\sum_{j=1}^n c_j \delta_{i j}\left\|\boldsymbol{e}_j\right\|^2-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \\ &=c_i\left\|\boldsymbol{e}_i\right\|^2-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \end{aligned} \end{split}\]

これを0とおいて解くと求まる

\[\begin{split} c_i \|\boldsymbol{e}_i\|^2 - (\boldsymbol{u}, \boldsymbol{e}_i) = 0 \\ \iff c_i \|\boldsymbol{e}_i\|^2 = (\boldsymbol{u}, \boldsymbol{e}_i)\\ \iff c_i = \frac{ (\boldsymbol{u}, \boldsymbol{e}_i) }{ \|\boldsymbol{e}_i\|^2 }\\ \end{split}\]

例2.29

例2.29

式 (2.19) のフーリエ級数

\[ f(x) \approx \frac{a_0}{2}+a_1 \cos x+b_1 \sin x+a_2 \cos 2 x+b_2 \sin 2 x+a_3 \cos 3 x+b_3 \sin 3 x+\cdots \tag{2.19} \]

に対してはパーセバルの式の第2式 \(\|\boldsymbol{u}\|^2 = \sum_{i=1}^n c_i^2\) はどう書けるか.

フーリエ級数とその係数は

\[ f(x)=\frac{a_0}{2}+\sum_{k=1}^{\infty}\left(a_k \cos k x+b_k \sin k x\right) \tag{2.112} \]

\[ \begin{gathered} a_0=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \mathrm{d} x, \quad a_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \cos k x \mathrm{~d} x, \quad b_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \sin k x \mathrm{~d} x \end{gathered} \]

となる。

\[\begin{split} \begin{gathered} \int_{-\pi}^\pi\left(\frac{1}{2}\right)^2 \mathrm{~d} x=\frac{\pi}{2} \\ \int_{-\pi}^\pi \cos ^2 k x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(1+\cos 2 k x) \mathrm{d} x=\pi \\ \int_{-\pi}^\pi \sin ^2 k x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(1-\cos 2 k x) \mathrm{d} x=\pi \end{gathered} \qquad\qquad (2.10) \end{split}\]

より \(\frac{1}{\sqrt{2 \pi}},\left\{\frac{\cos k x}{\sqrt{\pi}}\right\},\left\{\frac{\sin k x}{\sqrt{\pi}}\right\}\) が正規直交基底となる。

\((\frac{1}{2})^2\)は

\[ \int_{-\pi}^\pi\left(\frac{1}{2}\right)^2 \mathrm{~d} x =\frac{1}{4}\int_{-\pi}^\pi\mathrm{~d} x = \frac{1}{4}[x]_{-\pi}^\pi=\frac{1}{4}(\pi-(-\pi))=\frac{1}{4} \cdot 2 \pi =\frac{\pi}{2} \]

補足

フーリエ級数\(1/2, \{\cos kx\}, \{\sin kx\}\)は直交基底だが正規直交基底ではない。

例えば\(\int_{-\pi}^\pi \cos ^2 k x \mathrm{~d} x\)は1ではなく\(\pi\)になる。

そこで\(\int_{-\pi}^\pi \cos ^2 k x \mathrm{~d} x=1\)になるように\(\frac{1}{\sqrt{\pi}}\)を乗じた\(\frac{\cos k x}{\sqrt{\pi}}\)が正規直交基底になる。

式2.112は次のように書き直せる

\[ f(x) = \sqrt{\frac{\pi}{2}} a_0 \frac{1}{\sqrt{2 \pi}} +\sum_{k=1}^{\infty}\left(\sqrt{\pi} a_k \frac{\cos k x}{\sqrt{\pi}}+\sqrt{\pi} b_k \frac{\sin k x}{\sqrt{\pi}}\right) \]

補足：\(\sqrt{\frac{\pi}{2}}\)や\(\sqrt{\pi}\)はどこから出てきた？

正規直交基底にするために変形したものを打ち消してもとの\(f(x)\)を表現するため。

例えば\(\cos kx = \sqrt{\pi} \cdot \frac{\cos k x}{\sqrt{\pi}}\)といったふうに変形しているため

したがってパーセバルの式は次のようになる

\[ \int_{-\pi}^\pi f(x)^2 \mathrm{~d} x=\left(\sqrt{\frac{\pi}{2}} a_0\right)^2+\sum_{k=1}^{\infty}\left(\left(\sqrt{\pi} a_k\right)^2+\left(\sqrt{\pi} b_k\right)^2\right) \]

（二乗して積分をとったときに正規直交基底は1になったので\(\sqrt{\pi}\)などの残りの部分が残る感じ）

（2乗にした\(f(x)^2\)の項がスッキリしてるのはフーリエ級数の直交性のため）

フーリエ級数の直交性

\(1/2\)と\(\cos\)、\(\sin\)は直交

\[ \int_{-\pi}^\pi \frac{1}{2} \cos k x \mathrm{~d} x=\int_{-\pi}^\pi \frac{1}{2} \sin k x \mathrm{~d} x=0 \]

\(\cos kx, \sin lx\)は直交

\[ \int_{-\pi}^\pi \cos k x \sin l x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(\sin (k+l) x-\sin (k-l) x) \mathrm{d} x=0 \]

\(\cos kx, \cos lx\)は\(k \neq l\)のとき直交

\[ \int_{-\pi}^\pi \cos k x \cos l x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(\cos (k+l) x+\cos (k-l) x) \mathrm{d} x=0 \]

\(\sin kx, \sin lx\)は\(k \neq l\)のとき直交

\[ \int_{-\pi}^\pi \sin k x \sin l x \mathrm{~d} x=-\frac{1}{2} \int_{-\pi}^\pi(\cos (k+l) x-\cos (k-l) x) \mathrm{d} x=0 \]

書き直すと最終的に

\[ \frac{1}{\pi} \int_{-\pi}^\pi f(x)^2 \mathrm{~d} x=\frac{a_0^2}{2}+\sum_{k=1}^{\infty}\left(a_k^2+b_k^2\right) \]

となる

参考

パーセバルの定理 - 数学についていろいろ解説するブログ