応用数学 ch6メモ（主軸変換とその応用：主成分分析、）#

6.1 主成分分析#

主軸変換#

ベクトル$x$を単位ベクトル$u$の延長上の線$l$に射影した長さは、それらの内積

$$({\mathit{u}}_1,{\mathit{x}}_{\alpha })=\Vert {\mathit{u}}_1\Vert \cdot \Vert {\mathit{x}}_{\alpha }\Vert \cos {\theta }_{\alpha }=\Vert {\mathit{x}}_{\alpha }\Vert \cos {\theta }_{\alpha }$$

に等しい

原点$O$を平均とする$N$点$\{x_{\alpha }\}$を$l$上に射影した長さの平均は常に零である

$$\frac{1}{N}\sum _{\alpha =1}^N(u_1,x_{\alpha })=(u_1,\frac{1}{N}\sum _{\alpha =1}^N{x}_{\alpha })=(u_1,0)=0$$

原点$O$を平均とする$N$点$\{x_{\alpha }\}$を$l$上に射影した長さの 二乗の平均 は

$$\begin{array}{r}\begin{array}{rl}S& =\frac{1}{N}\sum _{\alpha =1}^N{({\mathit{u}}_1,{\mathit{x}}_{\alpha })}^2\\ & =\frac{1}{N}\sum _{\alpha =1}^N{\mathit{u}}_1^{\mathrm{\top }}{\mathit{x}}_{\alpha }{\mathit{x}}_{\alpha }^{\mathrm{\top }}{\mathit{u}}_1\\ & ={\mathit{u}}_1^{\mathrm{\top }}\left(\frac{1}{N}\sum _{\alpha =1}^N{\mathit{x}}_{\alpha }{\mathit{x}}_{\alpha }^{\mathrm{\top }}\right){\mathit{u}}_1\end{array}\end{array}$$

となる。このとき、

$$V:=\frac{1}{N}\sum _{\alpha =1}^N{\mathit{x}}_{\alpha }{\mathit{x}}_{\alpha }^{\mathrm{\top }}$$

を分散共分散行列とよぶ。

分散$S$を最大化する方向$u_1$を 主方向 と呼ぶ。