Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

応用数学 ch2メモ（直交関数展開）

まとめ

直交関数展開

区間 [a,b][a, b] 上の関数 f(x),g(x)f(x), g(x) が

∫abf(x)g(x)dx=0\int_a^b f(x) g(x) \mathrm{d} x=0
(1)

のとき 直交する という。

関数 ϕ0(x),ϕ1(x),…,ϕn(x)\phi_0(x), \phi_1(x), \ldots, \phi_n(x) が互いに直交するとき、すなわち

∫abϕi(x)ϕj(x)dx=0,i≠j\int_a^b \phi_i(x) \phi_j(x) \mathrm{d} x=0, \quad i \neq j
(2)

のとき、これらは区間[a,b][a,b]上の 直交関数系 であるという。とくにϕi(x)\phi_i(x)がxxの多項式なら、これを 直交多項式 という。

直交多項式の例：ルジャンドルの多項式

次の関数 Pn(x),n=0,1,2,…P_n(x), n=0,1,2, \ldots, は nn 次の ルジャンドルの多項式 と呼ばれる。

P0(x)=1P1(x)=xP2(x)=12(3x2−1)P3(x)=12(5x3−3x)P4(x)=18(35x4−30x2+3)P5(x)=18(63x5−70x3+15x)P6(x)=116(231x6−315x4+105x2−5)⋮\begin{aligned} P_0(x) &= 1 \\ P_1(x) &= x \\ P_2(x) &= \frac{1}{2}\left(3 x^2-1\right) \\ P_3(x) &= \frac{1}{2}\left(5 x^3-3 x\right) \\ P_4(x) &= \frac{1}{8}\left(35 x^4-30 x^2+3\right) \\ P_5(x) &= \frac{1}{8}\left(63 x^5-70 x^3+15 x\right) \\ P_6(x) &= \frac{1}{16}\left(231 x^6-315 x^4+105 x^2-5\right)\\ & \vdots \end{aligned}
(3)

これらは区間 [−1,1][-1,1] 上の直交関数系であり, 次の直交関係が成立する.

∫−11Pn(x)Pm(x)dx={22n+1n=m のとき 0n≠m のとき \int_{-1}^1 P_n(x) P_m(x) \mathrm{d} x= \begin{cases}\frac{2}{2 n+1} & n=m \text { のとき } \\ 0 & n \neq m \text { のとき }\end{cases}
(4)

Pn(x)P_n(x) の一般式が次式で表せることが知られている（ロドリゲスの公式）.

Pn(x)=12nn!dn(x2−1)n dxnP_n(x)=\frac{1}{2^n n!} \frac{\mathrm{d}^n\left(x^2-1\right)^n}{\mathrm{~d} x^n}
(5)
直交関数の例
12,cos⁡kx,sin⁡kx,k=1,2,3,…\frac{1}{2}, \cos k x, \sin k x,\quad k=1,2,3, \ldots
(6)

は区間 [−π,π][-\pi, \pi] 上の直交関数である。

（証明） cos⁡kx,sin⁡kx,k=1,2,3,…\cos k x, \sin k x, k=1,2,3, \ldots は周期 2π2 \pi の周期関数であるから、 1 周期 に渡る積分 ∫−ππcos⁡kx dx,∫−ππsin⁡kx dx\int_{-\pi}^\pi \cos k x \mathrm{~d} x, \int_{-\pi}^\pi \sin k x \mathrm{~d} x は 0 である。このことから 12\frac{1}{2} と cos⁡kx\cos k x, sin⁡kx\sin k x に対して次のようになる。

∫−ππ12cos⁡kx dx=∫−ππ12sin⁡kx dx=0\int_{-\pi}^\pi \frac{1}{2} \cos k x \mathrm{~d} x=\int_{-\pi}^\pi \frac{1}{2} \sin k x \mathrm{~d} x=0
(7)

cos⁡kx,sin⁡lx\cos k x, \sin l x に対しては次のようになる。

∫−ππcos⁡kxsin⁡lx dx=12∫−ππ(sin⁡(k+l)x−sin⁡(k−l)x)dx=0\int_{-\pi}^\pi \cos k x \sin l x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(\sin (k+l) x-\sin (k-l) x) \mathrm{d} x=0
(8)

k≠lk \neq l のとき cos⁡kx,cos⁡lx\cos k x, \cos l x に対して次のようになる。

∫−ππcos⁡kxcos⁡lx dx=12∫−ππ(cos⁡(k+l)x+cos⁡(k−l)x)dx=0\int_{-\pi}^\pi \cos k x \cos l x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(\cos (k+l) x+\cos (k-l) x) \mathrm{d} x=0
(9)

k≠lk \neq l のとき sin⁡kx,sin⁡lx\sin k x, \sin l x に対して次のようになる。

∫−ππsin⁡kxsin⁡lx dx=−12∫−ππ(cos⁡(k+l)x−cos⁡(k−l)x)dx=0\int_{-\pi}^\pi \sin k x \sin l x \mathrm{~d} x=-\frac{1}{2} \int_{-\pi}^\pi(\cos (k+l) x-\cos (k-l) x) \mathrm{d} x=0
(10)

以上より 12,cos⁡kx,sin⁡kx,k=1,2,3,…\frac{1}{2}, \cos k x, \sin k x, k=1,2,3, \ldots, が直交関数系であることが示された。

また次の関係も成り立つ。

∫−ππ(12)2 dx=π2∫−ππcos⁡2kx dx=12∫−ππ(1+cos⁡2kx)dx=π∫−ππsin⁡2kx dx=12∫−ππ(1−cos⁡2kx)dx=π\begin{gathered} \int_{-\pi}^\pi\left(\frac{1}{2}\right)^2 \mathrm{~d} x=\frac{\pi}{2} \\ \int_{-\pi}^\pi \cos ^2 k x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(1+\cos 2 k x) \mathrm{d} x=\pi \\ \int_{-\pi}^\pi \sin ^2 k x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(1-\cos 2 k x) \mathrm{d} x=\pi \end{gathered}
(11)

最小二乗近似

区間[a,b][a,b]上の直交関数系{ϕi(x)},i=0,1,⋯ ,n\{\phi_i(x)\}, i=0,1,\cdots,nの線形結合で関数f(x)f(x)を近似する事を考える

f(x)≈c0ϕ0(x)+c1ϕ1(x)+⋯+cnϕn(x)f(x) \approx c_0 \phi_0(x)+c_1 \phi_1(x)+\cdots+c_n \phi_n(x)
(12)

このような近似は、画像や音声を表す信号を少量の数値のみで高速に伝送したり、メモリの記憶容量を削減するために用いられる。

近似の尺度として最小二乗法

J=12∫ab(f(x)−c0ϕ0(x)−c1ϕ1(x)−⋯−cnϕn(x))2 dxJ=\frac{1}{2} \int_a^b\left(f(x)-c_0 \phi_0(x)-c_1 \phi_1(x)-\cdots-c_n \phi_n(x)\right)^2 \mathrm{~d} x
(13)
min⁡c0,⋯ ,cnJ\min_{c_0,\cdots,c_n} J
(14)

を用いると、各係数cic_iは

ci=∫abf(x)ϕi(x)dx∫abϕi(x)2 dx,i=0,1,…,nc_i=\frac{\int_a^b f(x) \phi_i(x) \mathrm{d} x}{\int_a^b \phi_i(x)^2 \mathrm{~d} x}, \quad i=0,1, \ldots, n
(15)

となる

証明
∂J∂ci=−∫ab(f(x)−c0ϕ0(x)−c1ϕ1(x)−⋯−cnϕn(x))ϕi(x)dx=−(∫abf(x)ϕi(x)dx−c0∫abϕ0(x)ϕi(x)dx−c1∫abϕ1(x)ϕi(x)dx−⋯−cn∫abϕn(x)ϕi(x)dx)=−(∫abf(x)ϕi(x)dx−ci∫abϕi(x)2 dx)\begin{aligned} \frac{\partial J}{\partial c_i}= & -\int_a^b\left(f(x)-c_0 \phi_0(x)-c_1 \phi_1(x)-\cdots-c_n \phi_n(x)\right) \phi_i(x) \mathrm{d} x \\ = & -\left(\int_a^b f(x) \phi_i(x) \mathrm{d} x-c_0 \int_a^b \phi_0(x) \phi_i(x) \mathrm{d} x\right. \\ & \left.\quad-c_1 \int_a^b \phi_1(x) \phi_i(x) \mathrm{d} x-\cdots-c_n \int_a^b \phi_n(x) \phi_i(x) \mathrm{d} x\right) \\ & =-\left(\int_a^b f(x) \phi_i(x) \mathrm{d} x-c_i \int_a^b \phi_i(x)^2 \mathrm{~d} x\right) \end{aligned}
(16)

これを0とおくと、係数が求まる

完備

フーリエ級数

12,cos⁡kx,sin⁡kx,k=1,2,3,…\frac{1}{2}, \cos k x, \sin k x,\quad k=1,2,3, \ldots
(17)

は区間[−π,π][-\pi,\pi]上で完備であることが知られ、これらを用いる直交関数展開を フーリエ級数 (Fourier series) という。

関数f(x)f(x)の近似

f(x)≈a02+a1cos⁡x+b1sin⁡x+a2cos⁡2x+b2sin⁡2x+a3cos⁡3x+b3sin⁡3x+⋯f(x) \approx \frac{a_0}{2}+a_1 \cos x+b_1 \sin x+a_2 \cos 2 x+b_2 \sin 2 x+a_3 \cos 3 x+b_3 \sin 3 x+\cdots
(18)

の係数an,bna_n, b_nは次のようになる

a0=1π∫−ππf(x)dx,ak=1π∫−ππf(x)cos⁡kx dx,bk=1π∫−ππf(x)sin⁡kx dxa_0=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \mathrm{d} x, \quad a_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \cos k x \mathrm{~d} x, \quad b_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \sin k x \mathrm{~d} x
(19)

これらの係数を フーリエ係数 と呼ぶ。

例（フーリエ級数）

次の関数 f(x)f(x) を区間 [−π,π][-\pi, \pi] 上でフーリエ級数に展開せよ

f(x)={10≤x≤π のとき −1−π≤x<0 のとき f(x)=\begin{cases} 1 & 0 \leq x \leq \pi \text { のとき } \\ -1 & -\pi \leq x<0 \text { のとき } \end{cases}
(20)
a0=1π(−∫−π0 dx+∫0πdx)=−π+ππ=0ak=1π(−∫−π0cos⁡kx dx+∫0πcos⁡kx dx)=1π(−[sin⁡kxk]−π0+[sin⁡kxk]0π)=0bk=1π(−∫−π0sin⁡kx dx+∫0πsin⁡kx dx)=1π([cos⁡kxk]−π0−[cos⁡kxk]0π)=1π(1−cos⁡(−π)kk−cos⁡πk−1k)=2(1−(−1)k)kπ\begin{aligned} a_0 & =\frac{1}{\pi}\left(-\int_{-\pi}^0 \mathrm{~d} x+\int_0^\pi \mathrm{d} x\right)=\frac{-\pi+\pi}{\pi}=0 \\ a_k & =\frac{1}{\pi}\left(-\int_{-\pi}^0 \cos k x \mathrm{~d} x+\int_0^\pi \cos k x \mathrm{~d} x\right) \\ & =\frac{1}{\pi}\left(-\left[\frac{\sin k x}{k}\right]_{-\pi}^0+\left[\frac{\sin k x}{k}\right]_0^\pi\right)=0 \\ b_k & =\frac{1}{\pi}\left(-\int_{-\pi}^0 \sin k x \mathrm{~d} x+\int_0^\pi \sin k x \mathrm{~d} x\right)=\frac{1}{\pi}\left(\left[\frac{\cos k x}{k}\right]_{-\pi}^0-\left[\frac{\cos k x}{k}\right]_0^\pi\right) \\ & =\frac{1}{\pi}\left(\frac{1-\cos (-\pi) k}{k}-\frac{\cos \pi k-1}{k}\right)=\frac{2\left(1-(-1)^k\right)}{k \pi} \end{aligned}
(21)

よって、次のようになる

f(x)=4πsin⁡x+43πsin⁡3x+45πsin⁡5x+47πsin⁡7x+⋯f(x)=\frac{4}{\pi} \sin x+\frac{4}{3 \pi} \sin 3 x+\frac{4}{5 \pi} \sin 5 x+\frac{4}{7 \pi} \sin 7 x+\cdots
(22)

この近似を f^(x,n)=∑k=1nbk⋅sin⁡kx\hat{f}(x, n) = \sum_{k=1}^n b_k \cdot \sin kx とおく。pythonで計算すると次の図のようになる

Source
import matplotlib.pyplot as plt
import numpy as np

def f(x: np.array) -> np.array:
    y = np.zeros_like(x)
    y[(0 <= x) & (x <= np.pi)] = 1
    y[(-np.pi <= x) & (x < 0)] = -1
    return y

# a_0, a_k が 0なので、 b_k （sinの係数）のみが残る
def b(k):
    return (2 * (1 - (-1)**k)) / (k * np.pi)

def f_hat(x: np.array, n: int) -> np.array:
    approx = np.zeros_like(x)
    for k in range(1, n+1):
        approx += b(k) * np.sin(k * x)
    return approx


fig, ax = plt.subplots()
x = np.linspace(-np.pi, np.pi, 500)
ax.plot(x, f(x), label="$f(x)$", color="black")
ax.plot(x, f_hat(x, n=1), label=r"$\hat{f}(x, n=1)$", linestyle="--", alpha=0.7)
ax.plot(x, f_hat(x, n=5), label=r"$\hat{f}(x, n=5)$", linestyle="--", alpha=0.7)
ax.plot(x, f_hat(x, n=100), label=r"$\hat{f}(x, n=100)$", linestyle="--", alpha=0.7)
ax.plot(x, f_hat(x, n=1000), label=r"$\hat{f}(x, n=1000)$", linestyle="--", alpha=0.7)
ax.set(xlabel="x", title=r"Approximating $f(x)$ by Fourier series")
ax.legend()
fig.show()
<Figure size 640x480 with 1 Axes>

直交射影

元u\boldsymbol{u}を直交系e1,e2,…,en\boldsymbol{e}_1, \boldsymbol{e}_2, \ldots, \boldsymbol{e}_nの線形結合の集合Vn\mathcal{V}_n（{ei}\{\boldsymbol{e}_i\}の張る部分空間）で近似することを考える。

u≈c1e1+c2e2+⋯+cnen\boldsymbol{u} \approx c_1 \boldsymbol{e}_1+c_2 \boldsymbol{e}_2+\cdots+c_n \boldsymbol{e}_n
(23)

最小二乗近似したものは

ci=(u,ei)∥ei∥2c_i = \frac{ (\boldsymbol{u}, \boldsymbol{e}_i) }{ \|\boldsymbol{e}_i\|^2 }
(24)

より

u^=∑i=1n(u,ei)∥ei∥2ei\hat{\boldsymbol{u}} = \sum_{i=1}^n \frac{ (\boldsymbol{u}, \boldsymbol{e}_i) }{ \|\boldsymbol{e}_i\|^2 } \boldsymbol{e}_i
(25)

と書くことができる。u^\hat{\boldsymbol{u}}の幾何学的な解釈としては、u\boldsymbol{u}から{ei}\{\boldsymbol{e}_i\}の張る部分空間へと下ろした「垂線の足」となる。 このことから、u^\hat{\boldsymbol{u}}は{ei}\{\boldsymbol{e}_i\}の張る部分空間Vn\mathcal{V}_nへの （直交）射影 と呼ぶ。

直交基底

直交系e1,e2,…,en\boldsymbol{e}_1, \boldsymbol{e}_2, \ldots, \boldsymbol{e}_n（n=∞n=\inftyでもよい）による、計量空間L\mathcal{L}の元u\boldsymbol{u}の最小二乗近似u^\hat{\boldsymbol{u}}がu\boldsymbol{u}に一致するとき（n=∞n=\inftyのときはn→∞n\to \inftyでu\boldsymbol{u}に収束するとき）、{ei}\{\boldsymbol{e}_i\}はL\mathcal{L}の 直交基底 であるという。

このときL\mathcal{L}は nn次元計量空間 （n=∞n=\inftyなら 無限次元計量空間 ）であるという。

直交基底の線形結合で表すことを 直交展開 という。

直交基底の例：ルジャンドルの多項式

ルジャンドルの多項式Pn(x)P_n(x)

Pn(x)=12nn!dn(x2−1)n dxnP_n(x)=\frac{1}{2^n n!} \frac{\mathrm{d}^n\left(x^2-1\right)^n}{\mathrm{~d} x^n}
(26)

は区間[−1,1][-1,1]上の連続関数の直交基底である

∫−11Pn(x)Pm(x)dx={22n+1n=m のとき 0n≠m のとき \int_{-1}^1 P_n(x) P_m(x) \mathrm{d} x= \begin{cases}\frac{2}{2 n+1} & n=m \text { のとき } \\ 0 & n \neq m \text { のとき }\end{cases}
(27)

パーセバルの式

L\mathcal{L}を計量空間とする。u,v∈L\boldsymbol{u}, \boldsymbol{v} \in \mathcal{L}について、正規直交基底{ei},i=1,…,n\{\boldsymbol{e}_i\}, i=1,\dots,nで

u=c1e1+c2e2+⋯+cnenv=d1e1+d2e2+⋯+dnen\begin{aligned} \boldsymbol{u}&=c_1 \boldsymbol{e}_1+c_2 \boldsymbol{e}_2+\cdots+c_n \boldsymbol{e}_n \\ \boldsymbol{v}&=d_1 \boldsymbol{e}_1+d_2 e_2+\cdots+d_n \boldsymbol{e}_n \end{aligned}
(28)

と表したとする。このとき、次の パーセバル（・プランシュレル）の式 が成り立つ（n=∞n=\inftyでも成り立つ）

(u,v)=∑i=1ncidi,∥u∥2=∑i=1nci2(\boldsymbol{u}, \boldsymbol{v})=\sum_{i=1}^n c_i d_i, \quad\|\boldsymbol{u}\|^2=\sum_{i=1}^n c_i^2
(29)
証明

1つめの式は

(u,v)=(∑i=1nciei,∑j=1ndjej)=∑i=1nci(ei,∑j=1ndjej)(∵内積の線形性)=∑i=1n∑j=1ncidj(ei,ej)(∵内積の線形性)=∑i=1n∑j=1ncidjδij(∵eは正規直交基底)=∑i=1ncidi\begin{aligned} (\boldsymbol{u}, \boldsymbol{v}) &= \left( \sum_{i=1}^n c_i \boldsymbol{e}_i, \sum_{j=1}^n d_j \boldsymbol{e}_j \right)\\ &= \sum_{i=1}^n c_i \left( \boldsymbol{e}_i, \sum_{j=1}^n d_j \boldsymbol{e}_j \right) \quad (\because 内積の線形性)\\ &= \sum_{i=1}^n \sum_{j=1}^n c_i d_j \left( \boldsymbol{e}_i, \boldsymbol{e}_j \right) \quad (\because 内積の線形性)\\ &= \sum_{i=1}^n \sum_{j=1}^n c_i d_j \delta_{ij} \quad (\because \boldsymbol{e}は 正規直交基底)\\ &= \sum_{i=1}^n c_i d_i \end{aligned}
(30)

2つめの式は

∥u∥2=(u,u)=(∑i=1nciei,∑j=1ncjej)=∑i=1n∑j=1ncicj(ei,ej)=∑i=1n∑j=1ncicjδij=∑i=1nci2\begin{aligned} \|\boldsymbol{u}\|^2 &= (\boldsymbol{u}, \boldsymbol{u})\\ &= (\sum_{i=1}^n c_i \boldsymbol{e}_i, \sum_{j=1}^n c_j \boldsymbol{e}_j)\\ &= \sum_{i=1}^n \sum_{j=1}^n c_i c_j (\boldsymbol{e}_i, \boldsymbol{e}_j)\\ &= \sum_{i=1}^n \sum_{j=1}^n c_i c_j \delta_{ij}\\ &= \sum_{i=1}^n c_i^2\\ \end{aligned}
(31)

例題

例2.6

例2.6

関数 f(x)f(x) を区間 [−π,π][-\pi, \pi] 上で 12,cos⁡kx,sin⁡kx,k=1,2,3,…,\frac{1}{2}, \cos k x, \sin k x, k=1,2,3, \ldots, によって近似せよ

次のように表せる。

f(x)≈a02+a1cos⁡x+b1sin⁡x+a2cos⁡2x+b2sin⁡2x+a3cos⁡3x+b3sin⁡3x+⋯f(x) \approx \frac{a_0}{2}+a_1 \cos x+b_1 \sin x+a_2 \cos 2 x+b_2 \sin 2 x+a_3 \cos 3 x+b_3 \sin 3 x+\cdots
(32)

係数an,bna_n, b_nは次のようになる

a0=1π∫−ππf(x)dx,ak=1π∫−ππf(x)cos⁡kx dx,bk=1π∫−ππf(x)sin⁡kx dxa_0=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \mathrm{d} x , \quad a_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \cos k x \mathrm{~d} x , \quad b_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \sin k x \mathrm{~d} x
(33)

直交関数系 {ϕi},(i=0,1,2,⋯ )\left\{\phi_i\right\}, (i=0,1,2, \cdots) の線形結合で関数f(x)f(x)を

f(x)≈c0ϕ0(x)+c1ϕ1(x)+⋯+cnϕn(x)f(x) \approx c_0 \phi_0(x)+c_1 \phi_1(x)+\cdots+c_n \phi_n(x)
(34)

のように近似する事を考える。今回は{ϕi}={12,cos⁡kx,sin⁡kx,⋯ },(k=1,2,3,⋯ )\left\{\phi_i\right\} = \{ \frac{1}{2}, \cos k x, \sin k x, \cdots \}, (k=1,2,3,\cdots) であるため、 12,cos⁡kx,sin⁡kx\frac{1}{2}, \cos k x, \sin k xに対する係数をそれぞれa0,ak,bka_0, a_k, b_kとおくと、

f(x)≈a012+a1cos⁡x+b1sin⁡x+a2cos⁡2x+b2sin⁡2x+a3cos⁡3x+b3sin⁡3x+⋯f(x) \approx a_0 \frac{1}{2}+a_1 \cos x+b_1 \sin x+a_2 \cos 2 x+b_2 \sin 2 x+a_3 \cos 3 x+b_3 \sin 3 x+\cdots
(35)

となる。

p.34、式(2.13)の定理より、最小二乗近似の係数は一般に

ci=∫abf(x)ϕi(x)dx∫abϕi(x)2 dx,i=0,1,…,nc_i=\frac{\int_a^b f(x) \phi_i(x) \mathrm{d} x}{\int_a^b \phi_i(x)^2 \mathrm{~d} x}, \quad i=0,1, \ldots, n
(36)

となる。

これに当てはめると、まずa0a_0は

a0=∫−ππf(x)12 dx∫−ππ(12)2 dxa_0 = \frac {\int_{-\pi}^{\pi} f(x) \frac{1}{2} \mathrm{~d} x} {\int_{-\pi}^{\pi} (\frac{1}{2})^2 \mathrm{~d} x}
(37)

分子のほうは定数は積分の外に出せるという定理 ∫abkf(x)dx=k∫abf(x)dx,k∈R\int_a^b k f(x) d x=k \int_a^b f(x) d x, k\in\mathbb{R} より

∫−ππf(x)12 dx=12∫−ππf(x) dx\int_{-\pi}^{\pi} f(x) \frac{1}{2} \mathrm{~d} x = \frac{1}{2} \int_{-\pi}^{\pi} f(x) \mathrm{~d} x
(38)

分母は

∫−ππ(12)2 dx=[(12)2x]−ππ=π(12)2−(−π(12)2)=14⋅2π=12π\begin{aligned} \int_{-\pi}^{\pi} \left( \frac{1}{2} \right)^2 \mathrm{~d} x &= \left[ \left( \frac{1}{2} \right)^2 x \right]_{-\pi}^{\pi} \\ &= \pi \left( \frac{1}{2} \right)^2 - \left(-\pi \left(\frac{1}{2} \right)^2 \right) \\ &= \frac{1}{4} \cdot 2\pi \\ &= \frac{1}{2} \pi \\ \end{aligned}
(39)

となるので

a0=∫−ππf(x)12 dx∫−ππ(12)2 dx=12∫−ππf(x) dx12π=1π∫−ππf(x) dx\begin{aligned} a_0 &= \frac {\int_{-\pi}^{\pi} f(x) \frac{1}{2} \mathrm{~d} x} {\int_{-\pi}^{\pi} (\frac{1}{2})^2 \mathrm{~d} x} \\ &= \frac {\frac{1}{2} \int_{-\pi}^{\pi} f(x) \mathrm{~d} x} {\frac{1}{2} \pi} \\ &= \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \mathrm{~d} x \end{aligned}
(40)

つづいてaka_kは

ak=∫−ππf(x)cos⁡kx dx∫−ππ(cos⁡kx)2 dx=∫−ππf(x)cos⁡kx dxπ=1π∫−ππf(x)cos⁡kx dxa_k = \frac {\int_{-\pi}^{\pi} f(x) \cos k x \mathrm{~d} x} {\int_{-\pi}^{\pi} (\cos k x)^2 \mathrm{~d} x} = \frac {\int_{-\pi}^{\pi} f(x) \cos k x \mathrm{~d} x} {\pi} = \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \cos k x \mathrm{~d} x
(41)

となる。なぜなら、

∫−ππcos⁡2x dx=∫−ππ1+cos⁡2x2 dx(∵2倍角の公式)=12∫−ππ(1+cos⁡2x) dx=[12(x+12sin⁡2x)]−ππ=[12x+14sin⁡2x]−ππ=12π+14sin⁡2π⏟=0−(−12π−14sin⁡2π⏟=0)=12π+12π=π\begin{aligned} \int_{-\pi}^{\pi} \cos^2 x ~dx &= \int_{-\pi}^{\pi} \frac{ 1 + \cos 2 x }{ 2 } ~dx \quad (\because 2倍角の公式)\\ &= \frac{1}{2} \int_{-\pi}^{\pi} (1 + \cos 2x) ~dx\\ &= \left[\frac{1}{2} (x + \frac{1}{2} \sin 2x) \right]_{-\pi}^{\pi}\\ &= \left[ \frac{1}{2} x + \frac{1}{4} \sin 2x \right]_{-\pi}^{\pi}\\ &= \frac{1}{2} \pi + \frac{1}{4} \underbrace{ \sin 2 \pi }_{=0} - (- \frac{1}{2} \pi - \frac{1}{4} \underbrace{ \sin 2 \pi }_{=0})\\ &= \frac{1}{2} \pi + \frac{1}{2} \pi\\ &= \pi \end{aligned}
(42)

のため。（実際はcos⁡2x\cos^2 xではなくcos⁡2kx\cos^2 kxだが、sin⁡π=0\sin \pi = 0なので2倍でもkk倍でも一緒）

bk=∫−ππf(x)sin⁡kx dx∫−ππ(sin⁡kx)2 dx=∫−ππf(x)sin⁡kx dxπ=1π∫−ππf(x)sin⁡kx dxb_k = \frac {\int_{-\pi}^{\pi} f(x) \sin k x \mathrm{~d} x} {\int_{-\pi}^{\pi} (\sin k x)^2 \mathrm{~d} x} = \frac {\int_{-\pi}^{\pi} f(x) \sin k x \mathrm{~d} x} {\pi} = \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin k x \mathrm{~d} x
(43)
∫−ππsin⁡2x dx=∫−ππ1−cos⁡2x2 dx(∵2倍角の公式)=12∫−ππ(1−cos⁡2x) dx=[12(x+12sin⁡2x)]−ππ=[12x+14sin⁡2x]−ππ=12π+14sin⁡2π⏟=0−(−12π−14sin⁡2π⏟=0)=12π+12π=π\begin{aligned} \int_{-\pi}^{\pi} \sin^2 x ~dx &= \int_{-\pi}^{\pi} \frac{ 1 - \cos 2 x }{ 2 } ~dx \quad (\because 2倍角の公式)\\ &= \frac{1}{2} \int_{-\pi}^{\pi} (1 - \cos 2x) ~dx\\ &= \left[\frac{1}{2} (x + \frac{1}{2} \sin 2x) \right]_{-\pi}^{\pi}\\ &= \left[ \frac{1}{2} x + \frac{1}{4} \sin 2x \right]_{-\pi}^{\pi}\\ &= \frac{1}{2} \pi + \frac{1}{4} \underbrace{ \sin 2 \pi }_{=0} - (- \frac{1}{2} \pi - \frac{1}{4} \underbrace{ \sin 2 \pi }_{=0})\\ &= \frac{1}{2} \pi + \frac{1}{2} \pi\\ &= \pi \end{aligned}
(44)

例2.24

例2.24

近似の尺度として最小二乗法

J=12∥u−(c1e1+c2e2+⋯+cnen)∥2→min⁡J=\frac{1}{2}\left\|\boldsymbol{u}-\left(c_1 \boldsymbol{e}_1+c_2 \boldsymbol{e}_2+\cdots+c_n \boldsymbol{e}_n\right)\right\|^2 \rightarrow \min
(45)

を用いると, 各係数 cic_i は

ci=(u,ei)∥ei∥2,i=1,…,nc_i=\frac{\left(\boldsymbol{u}, \boldsymbol{e}_i\right)}{\left\|\boldsymbol{e}_i\right\|^2}, \quad i=1, \ldots, n
(46)

となり, 特に {ei}\left\{e_i\right\} が正規直交系のときは

ci=(u,ei),i=1,…,nc_i=\left(\boldsymbol{u}, \boldsymbol{e}_i\right), \quad i=1, \ldots, n
(47)

となることを示せ.

書籍の回答例

JJを cic_i で偏微分すると次のようになる。

∂J∂ci=12∂∂ci(u−∑j=1ncjej,u−∑k=1nckek)=12(−ei,u−∑j=1ncjej)+12(u−∑j=1ncjej,−ei)=(u−∑j=1ncjej,−ei)=∑j=1ncj(ej,ei)−(u,ei)=∑j=1ncjδij∥ej∥2−(u,ei)=ci∥ei∥2−(u,ei)\begin{aligned} \frac{\partial J}{\partial c_i} &=\frac{1}{2} \frac{\partial}{\partial c_i}\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j, \boldsymbol{u}-\sum_{k=1}^n c_k \boldsymbol{e}_k\right) \\ & =\frac{1}{2}\left(-\boldsymbol{e}_i, \boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j\right)+\frac{1}{2}\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right) \\ & =\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right)\\ &=\sum_{j=1}^n c_j\left(\boldsymbol{e}_j, \boldsymbol{e}_i\right)-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \\ & =\sum_{j=1}^n c_j \delta_{i j}\left\|\boldsymbol{e}_j\right\|^2-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \\ &=c_i\left\|\boldsymbol{e}_i\right\|^2-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \end{aligned}
(48)

これを0とおいて解くと求まる

ci∥ei∥2−(u,ei)=0  ⟺  ci∥ei∥2=(u,ei)  ⟺  ci=(u,ei)∥ei∥2c_i \|\boldsymbol{e}_i\|^2 - (\boldsymbol{u}, \boldsymbol{e}_i) = 0 \\ \iff c_i \|\boldsymbol{e}_i\|^2 = (\boldsymbol{u}, \boldsymbol{e}_i)\\ \iff c_i = \frac{ (\boldsymbol{u}, \boldsymbol{e}_i) }{ \|\boldsymbol{e}_i\|^2 }\\
(49)
J=12∥u−(c1e1+c2e2+⋯+cnen)∥2=12∥u−∑j=1ncjej∥2=12(u−∑j=1ncjej,u−∑j=1ncjej)\begin{aligned} J &= \frac{1}{2} \left\|\boldsymbol{u}-\left(c_1 \boldsymbol{e}_1+c_2 \boldsymbol{e}_2+\cdots+c_n \boldsymbol{e}_n\right)\right\|^2 \\ &= \frac{1}{2} \left\|\boldsymbol{u}- \sum^n_{j=1} c_j \boldsymbol{e}_j \right\|^2 \\ &= \frac{1}{2} \left ( \boldsymbol{u}- \sum^n_{j=1} c_j \boldsymbol{e}_j, \boldsymbol{u}- \sum^n_{j=1} c_j \boldsymbol{e}_j \right) \end{aligned}
(50)

内積の微分は

ddx⟨f(x),g(x)⟩=⟨df(x)dx,g(x)⟩+⟨f(x),dg(x)dx⟩\frac{d}{d x} \langle \boldsymbol{f}(x), \boldsymbol{g}(x) \rangle = \left \langle \frac{d \boldsymbol{f}(x)}{d x}, \boldsymbol{g}(x) \right \rangle +\left \langle \boldsymbol{f}(x), \frac{d \boldsymbol{g}(x)}{d x}\right \rangle
(51)

となるため、

∂J∂ci=12∂∂ci(u−∑j=1ncjej,u−∑k=1nckek)=12(−ei,u−∑j=1ncjej)+12(u−∑j=1ncjej,−ei)=(u−∑j=1ncjej,−ei)(∵内積の対称性)\begin{aligned} \frac{\partial J}{\partial c_i} &=\frac{1}{2} \frac{\partial}{\partial c_i}\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j, \boldsymbol{u}-\sum_{k=1}^n c_k \boldsymbol{e}_k\right) \\ &=\frac{1}{2}\left(-\boldsymbol{e}_i, \boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j\right) +\frac{1}{2}\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right) \\ &=\left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right) \quad (\because 内積の対称性)\\ \end{aligned}
(52)
参考：内積の微分

内積の微分は

f(x)=(f1(x),⋯ ,fn(x))g(x)=(g1(x),⋯ ,gn(x))\boldsymbol{f}(x) = (f_1(x), \cdots, f_n(x)) \boldsymbol{g}(x) = (g_1(x), \cdots, g_n(x))
(53)

とすると

ddx⟨f(x),g(x)⟩=ddx(∑i=1nfi(x)gi(x))=∑i=1nddx(fi(x)gi(x))=∑i=1n(dfi(x)dxgi(x)+fi(x)dgi(x)dx)(積の微分公式)=∑i=1ndfi(x)dxgi(x)+∑i=1nfi(x)dgi(x)dx=⟨df(x)dx,g(x)⟩+⟨f(x),dg(x)dx⟩\begin{aligned} \frac{d}{d x} \langle \boldsymbol{f}(x), \boldsymbol{g}(x) \rangle &= \frac{d}{d x} \left( \sum_{i=1}^n f_i(x) g_i(x) \right)\\ &= \sum_{i=1}^n \frac{d}{d x} \left( f_i(x) g_i(x) \right)\\ &= \sum_{i=1}^n \left( \frac{d f_i(x)}{d x} g_i(x) + f_i(x) \frac{d g_i(x)}{d x} \right) \quad (積の微分公式) \\ &= \sum_{i=1}^n \frac{d f_i(x)}{d x} g_i(x) + \sum_{i=1}^n f_i(x) \frac{d g_i(x)}{d x} \\ &= \left \langle \frac{d \boldsymbol{f}(x)}{d x}, \boldsymbol{g}(x) \right \rangle +\left \langle \boldsymbol{f}(x), \frac{d \boldsymbol{g}(x)}{d x}\right \rangle \end{aligned}
(54)

となる

大学物理のフットノート|物理数学|ベクトルの微分公式(基本編)

(u−∑j=1ncjej,−ei)=(u,−ei)−(∑j=1ncjej,−ei)∵内積の線形性=(∑j=1ncjej,ei)−(u,ei)=∑j=1ncj(ej,ei)−(u,ei)∵内積の線形性=∑j=1ncjδij∥ej∥2−(u,ei)=ci∥ei∥2−(u,ei)\begin{aligned} \left(\boldsymbol{u}-\sum_{j=1}^n c_j \boldsymbol{e}_j,-\boldsymbol{e}_i\right) &= \left(\boldsymbol{u}, -\boldsymbol{e}_i\right) - \left(\sum_{j=1}^n c_j \boldsymbol{e}_j, -\boldsymbol{e}_i\right) \quad \because内積の線形性\\ &= \left(\sum_{j=1}^n c_j \boldsymbol{e}_j, \boldsymbol{e}_i\right) -\left(\boldsymbol{u}, \boldsymbol{e}_i\right)\\ &= \sum_{j=1}^n c_j \left(\boldsymbol{e}_j, \boldsymbol{e}_i\right) -\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \quad \because内積の線形性\\ & =\sum_{j=1}^n c_j \delta_{i j}\left\|\boldsymbol{e}_j\right\|^2-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \\ &=c_i\left\|\boldsymbol{e}_i\right\|^2-\left(\boldsymbol{u}, \boldsymbol{e}_i\right) \end{aligned}
(55)

これを0とおいて解くと求まる

ci∥ei∥2−(u,ei)=0  ⟺  ci∥ei∥2=(u,ei)  ⟺  ci=(u,ei)∥ei∥2c_i \|\boldsymbol{e}_i\|^2 - (\boldsymbol{u}, \boldsymbol{e}_i) = 0 \\ \iff c_i \|\boldsymbol{e}_i\|^2 = (\boldsymbol{u}, \boldsymbol{e}_i)\\ \iff c_i = \frac{ (\boldsymbol{u}, \boldsymbol{e}_i) }{ \|\boldsymbol{e}_i\|^2 }\\
(56)

例2.29

例2.29

式 (2.19) のフーリエ級数

f(x)≈a02+a1cos⁡x+b1sin⁡x+a2cos⁡2x+b2sin⁡2x+a3cos⁡3x+b3sin⁡3x+⋯(2.19)f(x) \approx \frac{a_0}{2}+a_1 \cos x+b_1 \sin x+a_2 \cos 2 x+b_2 \sin 2 x+a_3 \cos 3 x+b_3 \sin 3 x+\cdots \tag{2.19}
(57)

に対してはパーセバルの式の第2式 ∥u∥2=∑i=1nci2\|\boldsymbol{u}\|^2 = \sum_{i=1}^n c_i^2 はどう書けるか.

フーリエ級数とその係数は

f(x)=a02+∑k=1∞(akcos⁡kx+bksin⁡kx)(2.112)f(x)=\frac{a_0}{2}+\sum_{k=1}^{\infty}\left(a_k \cos k x+b_k \sin k x\right) \tag{2.112}
(58)
a0=1π∫−ππf(x)dx,ak=1π∫−ππf(x)cos⁡kx dx,bk=1π∫−ππf(x)sin⁡kx dx\begin{gathered} a_0=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \mathrm{d} x, \quad a_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \cos k x \mathrm{~d} x, \quad b_k=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \sin k x \mathrm{~d} x \end{gathered}
(59)

となる。

∫−ππ(12)2 dx=π2∫−ππcos⁡2kx dx=12∫−ππ(1+cos⁡2kx)dx=π∫−ππsin⁡2kx dx=12∫−ππ(1−cos⁡2kx)dx=π(2.10)\begin{gathered} \int_{-\pi}^\pi\left(\frac{1}{2}\right)^2 \mathrm{~d} x=\frac{\pi}{2} \\ \int_{-\pi}^\pi \cos ^2 k x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(1+\cos 2 k x) \mathrm{d} x=\pi \\ \int_{-\pi}^\pi \sin ^2 k x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(1-\cos 2 k x) \mathrm{d} x=\pi \end{gathered} \qquad\qquad (2.10)
(60)

より 12π,{cos⁡kxπ},{sin⁡kxπ}\frac{1}{\sqrt{2 \pi}},\left\{\frac{\cos k x}{\sqrt{\pi}}\right\},\left\{\frac{\sin k x}{\sqrt{\pi}}\right\} が正規直交基底となる。

(12)2(\frac{1}{2})^2は
∫−ππ(12)2 dx=14∫−ππ dx=14[x]−ππ=14(π−(−π))=14⋅2π=π2\int_{-\pi}^\pi\left(\frac{1}{2}\right)^2 \mathrm{~d} x =\frac{1}{4}\int_{-\pi}^\pi\mathrm{~d} x = \frac{1}{4}[x]_{-\pi}^\pi=\frac{1}{4}(\pi-(-\pi))=\frac{1}{4} \cdot 2 \pi =\frac{\pi}{2}
(61)
補足

フーリエ級数1/2,{cos⁡kx},{sin⁡kx}1/2, \{\cos kx\}, \{\sin kx\}は直交基底だが正規直交基底ではない。

例えば∫−ππcos⁡2kx dx\int_{-\pi}^\pi \cos ^2 k x \mathrm{~d} xは1ではなくπ\piになる。

そこで∫−ππcos⁡2kx dx=1\int_{-\pi}^\pi \cos ^2 k x \mathrm{~d} x=1になるように1π\frac{1}{\sqrt{\pi}}を乗じたcos⁡kxπ\frac{\cos k x}{\sqrt{\pi}}が正規直交基底になる。

式2.112は次のように書き直せる

f(x)=π2a012π+∑k=1∞(πakcos⁡kxπ+πbksin⁡kxπ)f(x) = \sqrt{\frac{\pi}{2}} a_0 \frac{1}{\sqrt{2 \pi}} +\sum_{k=1}^{\infty}\left(\sqrt{\pi} a_k \frac{\cos k x}{\sqrt{\pi}}+\sqrt{\pi} b_k \frac{\sin k x}{\sqrt{\pi}}\right)
(62)
補足：π2\sqrt{\frac{\pi}{2}}やπ\sqrt{\pi}はどこから出てきた？

正規直交基底にするために変形したものを打ち消してもとのf(x)f(x)を表現するため。

例えばcos⁡kx=π⋅cos⁡kxπ\cos kx = \sqrt{\pi} \cdot \frac{\cos k x}{\sqrt{\pi}}といったふうに変形しているため

したがってパーセバルの式は次のようになる

∫−ππf(x)2 dx=(π2a0)2+∑k=1∞((πak)2+(πbk)2)\int_{-\pi}^\pi f(x)^2 \mathrm{~d} x=\left(\sqrt{\frac{\pi}{2}} a_0\right)^2+\sum_{k=1}^{\infty}\left(\left(\sqrt{\pi} a_k\right)^2+\left(\sqrt{\pi} b_k\right)^2\right)
(63)

（二乗して積分をとったときに正規直交基底は1になったのでπ\sqrt{\pi}などの残りの部分が残る感じ）

（2乗にしたf(x)2f(x)^2の項がスッキリしてるのはフーリエ級数の直交性のため）

フーリエ級数の直交性

1/21/2とcos⁡\cos、sin⁡\sinは直交

∫−ππ12cos⁡kx dx=∫−ππ12sin⁡kx dx=0\int_{-\pi}^\pi \frac{1}{2} \cos k x \mathrm{~d} x=\int_{-\pi}^\pi \frac{1}{2} \sin k x \mathrm{~d} x=0
(64)

cos⁡kx,sin⁡lx\cos kx, \sin lxは直交

∫−ππcos⁡kxsin⁡lx dx=12∫−ππ(sin⁡(k+l)x−sin⁡(k−l)x)dx=0\int_{-\pi}^\pi \cos k x \sin l x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(\sin (k+l) x-\sin (k-l) x) \mathrm{d} x=0
(65)

cos⁡kx,cos⁡lx\cos kx, \cos lxはk≠lk \neq lのとき直交

∫−ππcos⁡kxcos⁡lx dx=12∫−ππ(cos⁡(k+l)x+cos⁡(k−l)x)dx=0\int_{-\pi}^\pi \cos k x \cos l x \mathrm{~d} x=\frac{1}{2} \int_{-\pi}^\pi(\cos (k+l) x+\cos (k-l) x) \mathrm{d} x=0
(66)

sin⁡kx,sin⁡lx\sin kx, \sin lxはk≠lk \neq lのとき直交

∫−ππsin⁡kxsin⁡lx dx=−12∫−ππ(cos⁡(k+l)x−cos⁡(k−l)x)dx=0\int_{-\pi}^\pi \sin k x \sin l x \mathrm{~d} x=-\frac{1}{2} \int_{-\pi}^\pi(\cos (k+l) x-\cos (k-l) x) \mathrm{d} x=0
(67)

書き直すと最終的に

1π∫−ππf(x)2 dx=a022+∑k=1∞(ak2+bk2)\frac{1}{\pi} \int_{-\pi}^\pi f(x)^2 \mathrm{~d} x=\frac{a_0^2}{2}+\sum_{k=1}^{\infty}\left(a_k^2+b_k^2\right)
(68)

となる

数学
応用数学 ch1メモ（最小二乗法）
数学
応用数学 ch5メモ（2次形式、対角化、固有値）