応用数学 ch1メモ（最小二乗法）

応用数学 ch1メモ（最小二乗法）#

金谷健一. (2003). これなら分かる応用数学教室: 最小二乗法からウェーブレットまで.

目的：一部の例題の行間を埋めて、論理の飛躍無く説明できるようにする

最小二乗近似#

任意の関数 $f (x)$ を $n$ 個の関数 ${ϕ_{i} (x)}$ の線形結合で近似する

f (x) \approx c_{0} ϕ_{0} (x) + c_{1} ϕ_{1} (x) + \dots + c_{n} ϕ_{n} (x)

例題#

例題1.7#

p.12 例題1.7

【例 1.7】 $N$ 個のデータ $(x_{1}, y_{1}), \dots, (x_{N}, y_{N})$ に $n$ 次式を当てはめよ.

当てはめる $n$ 次式を $y = c_{0} x^{n} + c_{1} x^{n - 1} + \dots + c_{n}$ とし,

y_{α} \approx c_{0} x_{α}^{n} + c_{1} x_{α}^{n - 1} + \dots + c_{n}, α = 1, \dots, N

となる $c_{1}, \dots, c_{n}$ を最小二乗法

J = \frac{1}{2} \sum_{α = 1}^{N} {(y_{α} - (c_{0} x_{α}^{n} + c_{1} x_{α}^{n - 1} + \dots + c_{n}))}^{2} \to min

によって定める. それには

\frac{\partial J}{\partial c_{0}} = 0, \frac{\partial J}{\partial c_{1}} = 0, \dots, \frac{\partial J}{\partial c_{n}} = 0

を解いて $c_{0}, \dots, c_{n}$ を定めればよい。

J = \frac{1}{2} \sum_{α = 1}^{N} (y_{α} - c_{0} x_{α}^{n} - \dots - c_{n})^{2} = \frac{1}{2} \sum_{α = 1}^{N} u^{2}

とおくと、微分の線形性（和の各項ごとに微分の操作ができる）と合成微分の連鎖律より、

\begin{array}{r} \frac{\partial J}{\partial c_{k}} = \frac{1}{2} \sum_{α = 1}^{N} \frac{\partial u^{2}}{\partial u} \frac{\partial u}{\partial c_{k}} \end{array}

となり、 $c_{k}$ と積になっている値は $- x_{α}^{n - k}$ なので、

\begin{array}{r} \begin{aligned} \frac{\partial u^{2}}{\partial u} & = 2 u = 2 (y_{α} - c_{0} x_{α}^{n} - \dots - c_{n}) \\ \frac{\partial u}{\partial c_{k}} & = - x_{α}^{n - k} \end{aligned} \end{array}

よって

\frac{\partial J}{\partial c_{k}} = \frac{1}{2} \sum_{α = 1}^{N} 2 (y_{α} - c_{0} x_{α}^{n} - \dots - c_{n}) (- x_{α}^{n - k})

なので、式を $c_{k}$ で偏微分すると次式を得る。

\begin{array}{r} \begin{aligned} \frac{\partial J}{\partial c_{k}} & = \sum_{α = 1}^{N} (y_{α} - c_{0} x_{α}^{n} - c_{1} x_{α}^{n - 1} - \dots - c_{n}) (- x_{α}^{n - k}) \\ = c_{0} \sum_{α = 1}^{N} x_{α}^{2 n - k} + c_{1} \sum_{α = 1}^{N} x_{α}^{2 n - k - 1} + \dots + c_{n} \sum_{α = 1}^{N} x_{α}^{n - k} - \sum_{α = 1}^{N} x_{α}^{n - k} y_{α} \end{aligned} \end{array}

これを 0 と置いて $k = 0, 1, \dots, n$ に対する式を並べると

\begin{array}{r} {\begin{cases} c_{0} \sum_{α = 1}^{N} x_{α}^{2 n} + c_{1} \sum_{α = 1}^{N} x_{α}^{2 n - 1} + \dots + c_{n} \sum_{α = 1}^{N} x_{α}^{n} & = \sum_{α = 1}^{N} x_{α}^{n} y_{α} \\ c_{0} \sum_{α = 1}^{N} x_{α}^{2 n - 1} + c_{1} \sum_{α = 1}^{N} x_{α}^{2 n - 2} + \dots + c_{n} \sum_{α = 1}^{N} x_{α}^{n - k} & = \sum_{α = 1}^{N} x_{α}^{n - 1} y_{α} \\ ⋮ \\ c_{0} \sum_{α = 1}^{N} x_{α}^{n} + c_{1} \sum_{α = 1}^{N} x_{α}^{n - 1} + \dots + c_{n} \sum_{α = 1}^{N} 1 & = \sum_{α = 1}^{N} y_{α} \end{cases} \end{array}

よって次の正規方程式を得る.

\begin{array}{r} (\begin{array}{cccc} \sum_{α = 1}^{N} x_{α}^{2 n} & \sum_{α = 1}^{N} x_{α}^{2 n - 1} & \dots & \sum_{α = 1}^{N} x_{α}^{n} \\ \sum_{α = 1}^{N} x_{α}^{2 n - 1} & \sum_{α = 1}^{N} x_{α}^{2 n - 2} & \dots & \sum_{α = 1}^{N} x_{α}^{n - 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \sum_{α = 1}^{N} x_{α}^{n} & \sum_{α = 1}^{N} x_{α}^{n - 1} & \dots & \sum_{α = 1}^{N} 1 \end{array}) (\begin{array}{c} c_{0} \\ c_{1} \\ ⋮ \\ c_{n} \end{array}) = (\begin{array}{c} \sum_{α = 1}^{N} x_{α}^{n} y_{α} \\ \sum_{α = 1}^{N} x_{α}^{n - 1} y_{α} \\ ⋮ \\ \sum_{α = 1}^{N} y_{α} \end{array}) \end{array}

これを解いて $c_{0}, \dots, c_{n}$ が定まる.

例題1.11#

p.24 例題1.11

【例 1.11】ベクトル $a$ を $\sum_{k = 1}^{n} c_{k} u_{k}$ の形に近似せよ.

\begin{matrix} (1.75) & J = \frac{1}{2} {‖ a - \sum_{k = 1}^{n} c_{k} u_{k} ‖}^{2} \to min \end{matrix}

式（1.75）のように置き,

\frac{\partial J}{\partial c_{1}} = 0, \dots, \frac{\partial J}{\partial c_{n}} = 0

を解いて $c_{1}, \dots, c_{n}$ を定めればよい。

ベクトルの和の内積は、 $a, x \in R^{n}$ とすれば

\begin{array}{r} \begin{aligned} (a - x, a - x) & = \sum_{i}^{n} (a_{i} - x_{i}) (a_{i} - x_{i}) \\ = \sum_{i}^{n} (a_{i}^{2} - 2 a_{i} x_{i} + x_{i}^{2}) \\ = \sum_{i}^{n} a_{i}^{2} - 2 \sum_{i}^{n} a_{i} x_{i} + \sum_{i}^{n} x_{i}^{2} \\ = (a, a) - 2 (a, x) + (x, x) \\ = ‖ a ‖^{2} - 2 (a, x) + ‖ x ‖^{2} \end{aligned} \end{array}

となるため、式（1.75）は次のように変形できる。

\begin{array}{r} \begin{aligned} J & = \frac{1}{2} (a - \sum_{k = 1}^{n} c_{k} u_{k}, a - \sum_{l = 1}^{n} c_{l} u_{l}) \\ = \frac{1}{2} ((a, a) - 2 (a, \sum_{k = 1}^{n} c_{k} u_{k}) + (\sum_{k = 1}^{n} c_{k} u_{k}, \sum_{l = 1}^{n} c_{l} u_{l})) \\ = \frac{1}{2} (‖ a ‖^{2} - 2 \sum_{k = 1}^{n} c_{k} (a, u_{k}) + \sum_{k, l = 1}^{n} c_{k} c_{l} (u_{k}, u_{l})) \\ = \frac{1}{2} ‖ a ‖^{2} - \sum_{k = 1}^{n} c_{k} (a, u_{k}) + \frac{1}{2} \sum_{k = 1}^{n} \sum_{l = 1}^{n} c_{k} c_{l} (u_{k}, u_{l}) \end{aligned} \end{array}

この式中の $c_{i}$ が含まれる項は $- 2 c_{i} (a, u_{i})$ と $\sum_{l = 1}^{n} c_{i} c_{l} (u_{i}, u_{l})$ と $\sum_{k = 1}^{n} c_{k} c_{i} (u_{k}, u_{i})$ であり、内積の性質 $(a, b) = (b, a)$ より

\sum_{l = 1}^{n} c_{i} c_{l} (u_{i}, u_{l}) + \sum_{k = 1}^{n} c_{k} c_{i} (u_{k}, u_{i}) = 2 \sum_{k = 1}^{n} c_{k} c_{i} (u_{k}, u_{i})

となる。

\frac{\partial J}{\partial c_{i}} = - (a, u_{i}) + \sum_{k = 1}^{n} c_{k} (u_{k}, u_{i})

を 0 と置いて $i = 1, \dots, n$ に対する式を並べると次の正規方程式を得る.

\begin{array}{r} (\begin{array}{cccc} {‖ u_{1} ‖}^{2} & (u_{1}, u_{2}) & \dots & (u_{1}, u_{n}) \\ (u_{2}, u_{1}) & {‖ u_{2} ‖}^{2} & \dots & (u_{2}, u_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ (u_{n}, u_{1}) & (u_{n}, u_{2}) & \dots & {‖ u_{n} ‖}^{2} \end{array}) (\begin{array}{c} c_{1} \\ c_{2} \\ ⋮ \\ c_{n} \end{array}) = (\begin{array}{c} (a, u_{1}) \\ (a, u_{2}) \\ ⋮ \\ (a, u_{n}) \end{array}) \end{array}

これを解いて $c_{1}, \dots, c_{n}$ が定まる