\[
% 太字のalias
\newcommand{\b}[1]{\boldsymbol{#1}}
% 演算子の定義
\DeclareMathOperator{\im}{ \text{Im} }
\DeclareMathOperator{\rank}{ \text{rank} }
\DeclareMathOperator{\span}{ \text{Span} }
\DeclareMathOperator{\Ker}{ \text{Ker} }
\]
線形写像
（定義）線形写像
\(n\)次元ベクトル空間\(\mathbb{R}^n\)の任意のベクトル\(\b{a}, \b{b}\)と任意のスカラー\(c\)に対して
\(f(\b{a}+\b{b}) = f(\b{a}) + f(\b{b})\)
\(f(c \b{a}) = c f(\b{a})\)
が成り立つとき、\(n\)次元ベクトル空間\(\mathbb{R}^n\)から\(m\)次元ベクトル空間\(\mathbb{R}^m\)への写像
\[
f: \mathbb{R}^n \to \mathbb{R}^m
\]
を線形写像という。
標準基底
\(\mathbb{R}^n\)上の次のベクトルを考える
\[\begin{split}
\b{e}_1 =
\begin{pmatrix}
1 \\
0 \\
\vdots \\
0
\end{pmatrix}
, \hspace{1em}
\b{e}_2 =
\begin{pmatrix}
0 \\
1 \\
\vdots \\
0
\end{pmatrix}
, \hspace{1em}
\cdots
, \hspace{1em}
\b{e}_n =
\begin{pmatrix}
0 \\
0 \\
\vdots \\
1
\end{pmatrix}
\end{split}\]
\(j=1,2,\dots,n\)としたとき、\(\b{e}_j\)の\(j\)番目の要素が\(1\)、それ以外のすべての要素が\(0\)のベクトルである。
こうしたベクトルの組\(\b{e}_1, \b{e}_2, \dots, \b{e}_n\)を標準基底という。
標準基底の写り方で行列が定まる
線形写像\(f: \mathbb{R}^n \to \mathbb{R}^m\)が与えられたとする。これらの像は\(m\)次元のベクトルになる。
\[\begin{split}
f(\b{e}_j) =
\begin{pmatrix}
a_{1j} \\
a_{2j} \\
\vdots \\
a_{mj}
\end{pmatrix}
\end{split}\]
\(\mathbb{R}^m\)の標準基底を\(\b{e}'_1, \b{e}'_2, \dots, \b{e}'_m\)とすると
\[\begin{split}
\begin{align}
f(\b{e}_j)
&= \begin{pmatrix}
a_{1j} \\
a_{2j} \\
\vdots \\
a_{mj}
\end{pmatrix}\\
&= \begin{pmatrix}
a_{1j} \\
0 \\
\vdots \\
0
\end{pmatrix}
+ \begin{pmatrix}
0 \\
a_{2j} \\
\vdots \\
0
\end{pmatrix}
+ \cdots
+ \begin{pmatrix}
0 \\
0 \\
\vdots \\
a_{mj}
\end{pmatrix}
\\
&= a_{1j}
\begin{pmatrix}
1 \\
0 \\
\vdots \\
0
\end{pmatrix}
+ a_{2j}
\begin{pmatrix}
0 \\
1 \\
\vdots \\
0
\end{pmatrix}
+ \cdots
+ a_{mj}
\begin{pmatrix}
0 \\
0 \\
\vdots \\
1
\end{pmatrix}
\\
&= a_{1j} \b{e}'_1 + a_{2j} \b{e}'_2 + \cdots + a_{mj} \b{e}'_m\\
&= \sum_{i=1}^m a_{ij} \b{e}'_i
\end{align}
\end{split}\]
このような列ベクトルを順に並べると\(m\times n\)行列が定まる。この行列を\(A\)と書くことにすると
\[\begin{split}
A =
\begin{pmatrix}
f(\b{e}_1) & f(\b{e}_2) & \cdots & f(\b{e}_j) & \cdots & f(\b{e}_n)
\end{pmatrix}
=
\begin{pmatrix}
a_{11} & a_{12} & \cdots & a_{1j} & \cdots & a_{1m}\\
a_{21} & a_{22} & \cdots & a_{2j} & \cdots & a_{2m}\\
\vdots & \vdots & & & \vdots\\
a_{n1} & a_{n2} & \cdots & a_{nj} & \cdots & a_{nm}\\
\end{pmatrix}
\end{split}\]
つまり、線形写像\(f: \mathbb{R}^n \to \mathbb{R}^m\)が与えられると、それに応じて\(m\times n\)行列が定まる。
超ざっくりまとめると「行列は写像である」ということになる。
線形写像で行列が定まる
任意の線形写像\(f: \mathbb{R}^n \to \mathbb{R}^m\)に対して
\[
f(\b{e}_j) = \sum_{i=1}^m a_{ij} \b{e}'_i
\]
によって\(m\times n\)行列
\[
A=(a_{ij})
\]
が定まる
線形写像はベクトルに行列をかけることにより与えられる
\(\mathbb{R}^n\)のベクトルを\(\b{x}\)で表すことにする。
\[\begin{split}
\b{x} =
\begin{pmatrix}
x_1 \\
x_2 \\
\vdots\\
x_n
\end{pmatrix}
= x_1 \b{e}_1 + x_2 \b{e}_2 + \cdots + x_n \b{e}_n
\end{split}\]
\(f(\b{x})\)は、線形写像が満たしている線形性の条件を使って整理すると
\[\begin{split}
\begin{align}
f(\b{x})
&= f(x_1 \b{e}_1 + x_2 \b{e}_2 + \cdots + x_n \b{e}_n)\\
&= f(x_1 \b{e}_1) + f(x_2 \b{e}_2) + \cdots + f(x_n \b{e}_n)\\
&= x_1 f(\b{e}_1) + x_2 f(\b{e}_2) + \cdots + x_n f(\b{e}_n)\\
&= x_1
\begin{pmatrix}
a_{11} \\
a_{21} \\
\vdots \\
a_{m1}
\end{pmatrix}
+ x_2
\begin{pmatrix}
a_{12} \\
a_{22} \\
\vdots \\
a_{m2}
\end{pmatrix}
+ \cdots
+ x_n
\begin{pmatrix}
a_{1n} \\
a_{2n} \\
\vdots \\
a_{mn}
\end{pmatrix}\\
&=
\begin{pmatrix}
a_{11} & a_{12} & \cdots & a_{1j} & \cdots & a_{1m}\\
a_{21} & a_{22} & \cdots & a_{2j} & \cdots & a_{2m}\\
\vdots & \vdots & & & \vdots\\
a_{n1} & a_{n2} & \cdots & a_{nj} & \cdots & a_{nm}\\
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2 \\
\vdots\\
x_n
\end{pmatrix}\\
&= \b{A x}
\end{align}
\end{split}\]
となる。
線形写像はベクトルに行列をかけることにより与えられる
\(\mathbb{R}^n\)の任意のベクトル\(\b{x}\)に対して
\[
f(\b{x}) = \b{A x}
\]
が成り立つ
行列は線形写像を定義する
逆に、行列が与えられると線形写像が定義される。
任意の\(m\times n\)行列\(A=(a_{ij})\)が与えられたとき、写像
\[
f_A: \mathbb{R}^n \to \mathbb{R}^m
\]
を
\[
\b{x} \in \mathbb{R}^n
\]
に対して
\[
f_A(\b{x}) = \b{A x}
\]
によって定義する。
この写像\(f_A\)は以下を満たすため線形写像である
\(f_A(\b{x} + \b{y}) = A(\b{x}+\b{y}) = A\b{x} + A\b{y} = f_A(\b{x}) + f_A(\b{y})\)
\(f_A(c \b{x}) = A(c \b{x}) = c A\b{x} = c f_A(\b{x})\)
線形写像の合成と行列の積
2つの線形写像
\[
f: \mathbb{R}^n \to \mathbb{R}^m
\hspace{2em}
g: \mathbb{R}^m \to \mathbb{R}^l
\]
があり、それぞれに対応する行列を\(A, B\)とする。
2つの写像の合成
\[
f \circ g: \mathbb{R}^n \to \mathbb{R}^l
\]
も線形写像になり、これに対応する行列を\(C\)とすると
\[
C = BA
\]
である
定理
2つの線形写像の合成に対応する行列は、それぞれの写像に対応する行列の積に等しい
（証明）
\(A=(a_{ij}), B=(b_{kj})\)とし、
\(\mathbb{R}^n\)の標準基底を\(\b{e}_1, \cdots, \b{e}_n\)
\(\mathbb{R}^m\)の標準基底を\(\b{e}'_1, \cdots, \b{e}'_m\)
\(\mathbb{R}^l\)の標準基底を\(\b{e}''_1, \cdots, \b{e}''_l\)
とすると
\[\begin{split}
\begin{aligned}
g \circ f\left(\boldsymbol{e}_i\right)
& = g\left(\sum_{j=1}^m a_{j i} \boldsymbol{e}_j^{\prime}\right)
= \sum_{j=1}^m a_{j i} g\left(\boldsymbol{e}_j^{\prime}\right)
= \sum_{j=1}^m a_{j i} \sum_{k=1}^l b_{k j} \boldsymbol{e}_k{ }^{\prime \prime} \\
& =\sum_{j=1}^m \sum_{k=1}^l a_{j i} b_{k j} \boldsymbol{e}_k{ }^{\prime \prime}
= \sum_{k=1}^l\left(\sum_{j=1}^m b_{k j} a_{j i}\right) \boldsymbol{e}_k^{\prime \prime}\\
&= \sum_{k=1}^l c_{ki} \b{e}_k''
\end{aligned}
\end{split}\]
ベクトルとして等しいため各成分同士が等しいということであり、\(\b{e}_k''\)の係数がそれぞれ等しい
\[
\sum_{j=1}^m b_{k j} a_{j i} = c_{ki}
\]
行列の各成分でも等しいことが成り立つため
\[
BA = C
\]
像 \(\text{Im}\)
\(n\times m\)行列\(A = (\b{a}_1, \dots, \b{a}_n)^T\)
Aで移れる範囲を像\(\im A\)という。値域（range）と言うこともあるらしい
数\(x_1, \dots, x_n\)を色々な値にしたときの線形和\(x_1 \b{a}_1 + \cdots + x_n \b{a}_n = A \b{x}\)が\(\im A\)であり、\(\b{a}_1, \dots, \b{a}_n\)が張る線型部分空間\(\span \{ \b{a}_1, \dots, \b{a}_n \}\)でもある
\[
\im A = \span \{ \b{a}_1, \dots, \b{a}_n \} = x_1 \b{a}_1 + \cdots + x_n \b{a}_n = A\b{x}
\]
例：最小二乗法
最小二乗推定量\(\hat{\boldsymbol{\beta}} = (X^\top X)^{-1} X^\top \boldsymbol{y}\)
を\(\hat{\boldsymbol{y}} = X \hat{\boldsymbol{\beta}}\)に代入すると
\[
\hat{\boldsymbol{y}} = \underbrace{ X (X^\top X)^{-1} X^\top }_{P} \boldsymbol{y}
= P \boldsymbol{y}
\]
つまり、ベクトル\(\boldsymbol{y}\)を行列\(P = X (X^\top X)^{-1} X^\top\)で射影したものとみなすことができる。
この行列\(P\)は対称行列で、\(P^2=P\)となる。対称行列で\(P^2=P\)となる行列を射影行列という。
射影行列は、\(X\)の列空間\(\Im X\)にベクトルを正射影するという性質がある。\(\boldsymbol{y}\)の\(\Im X\)への射影が\(\hat{\boldsymbol{y}}\)で、垂線の足が誤差\(\boldsymbol{u}\)となる。
最小二乗法は\(\boldsymbol{y}\)から\(\Im X\)への射影を求める操作であると捉えることができる。
ランク
\(m\times n\)行列\(A\)に対し、\(A\)が定義する線形写像
\[
A: \mathbb{R}^n \to \mathbb{R}^m
\]
の像空間の次元のことを ランク（階数） といい、\(\rank A\)と表す。
\[
\rank A := \dim \Im A
= \dim \span\{ \boldsymbol{a}_1, \dots, \boldsymbol{a}_n \}
\]
\(A \in \mathbb{R}^{m\times n}\)なら、\(m\)次元の定義域から\(n\)次元の値域に移す写像なので、
\[\begin{split}
\rank A \leq m\\
\rank A \leq n
\end{split}\]