像 Im \text{Im} Im ¶ Aで移れる範囲を像
集合X X X Y Y Y
f : X ⟶ Y f: X \longrightarrow Y f : X ⟶ Y におけるX X X 定義域 、Y Y Y 値域 という。
x ∈ X x \in X x ∈ X y ∈ Y y \in Y y ∈ Y y y y f f f x x x 像 といい、
と書く。
x x x X X X f ( x ) f(x) f ( x ) Y Y Y f f f 像 といい、Im f \text{Im} f Im f
Im f = { f ( x ) ∣ x ∈ X } \mathop{\text{Im}} f = \{f(x) \mid x \in X \} Im f = { f ( x ) ∣ x ∈ X } Im f = Y \mathop{\text{Im}} f = Y Im f = Y f f f 全射 であるという。またx 1 , x 2 ∈ X , x 1 ≠ x 2 x_1, x_2 \in X, x_1 \neq x_2 x 1 , x 2 ∈ X , x 1 = x 2 f ( x 1 ) ≠ f ( x 2 ) f(x_1) \neq f(x_2) f ( x 1 ) = f ( x 2 ) f f f 単射 であるという。
n n n V n V^n V n m m m V m V^m V m f : x → A x f: \boldsymbol{x} \to A \boldsymbol{x} f : x → A x A A A m × n m\times n m × n
V n V^n V n f f f V m V^m V m
{ y ∣ y ∈ V m , y = A x ( x ∈ V m ) } \{ \boldsymbol{y} \mid \boldsymbol{y} \in V^m, \boldsymbol{y} = A\boldsymbol{x} (\boldsymbol{x} \in V^m) \} { y ∣ y ∈ V m , y = A x ( x ∈ V m )} はV m V^m V m 像 という。
Im = Span ¶ 数x 1 , … , x n x_1, \dots, x_n x 1 , … , x n
最小二乗推定量β ^ = ( X ⊤ X ) − 1 X ⊤ y \hat{\boldsymbol{\beta}} = (X^\top X)^{-1} X^\top \boldsymbol{y} β ^ = ( X ⊤ X ) − 1 X ⊤ y y ^ = X β ^ \hat{\boldsymbol{y}} = X \hat{\boldsymbol{\beta}} y ^ = X β ^
y ^ = X ( X ⊤ X ) − 1 X ⊤ ⏟ P y = P y \hat{\boldsymbol{y}} = \underbrace{ X (X^\top X)^{-1} X^\top }_{P} \boldsymbol{y}
= P \boldsymbol{y} y ^ = P X ( X ⊤ X ) − 1 X ⊤ y = P y つまり、ベクトルy \boldsymbol{y} y P = X ( X ⊤ X ) − 1 X ⊤ P = X (X^\top X)^{-1} X^\top P = X ( X ⊤ X ) − 1 X ⊤
この行列P P P P 2 = P P^2=P P 2 = P P 2 = P P^2=P P 2 = P
射影行列は、X X X y \boldsymbol{y} y y ^ \hat{\boldsymbol{y}} y ^ u \boldsymbol{u} u
最小二乗法はy \boldsymbol{y} y
A x = 0 A\boldsymbol{x} = \boldsymbol{0} A x = 0 x \boldsymbol{x} x A A A 核（kernel） あるいは 零空間（null space） と呼び、Ker A \mathop{ \text{Ker} } A Ker A
Ker A = { x ∣ A x = 0 } \mathop{ \text{Ker} } A
= \{ \boldsymbol{x} \mid A\boldsymbol{x} = \boldsymbol{0} \} Ker A = { x ∣ A x = 0 } 核はベクトル空間であり、その次元は 退化次数 （nullity）とも呼ばれる（つまり、
幾何学的な解釈としては、カーネルは写像A A A 0 \boldsymbol{0} 0
n n n V n V^n V n m m m V m V^m V m f : x → A x f: \boldsymbol{x} \to A \boldsymbol{x} f : x → A x A A A m × n m\times n m × n
f f f V m V^m V m V n V^n V n
{ x ∣ y ∈ V n , A x = 0 } \{ \boldsymbol{x} \mid \boldsymbol{y} \in V^n, \ A \boldsymbol{x} = \boldsymbol{0} \} { x ∣ y ∈ V n , A x = 0 } をf f f A A A 核 といい、f − 1 ( 0 ) f^{-1}(\boldsymbol{0}) f − 1 ( 0 ) A − 1 ( 0 ) A^{-1}(\boldsymbol{0}) A − 1 ( 0 )
ランク ¶ m × n m\times n m × n A A A A A A
A : R n → R m A: \mathbb{R}^n \to \mathbb{R}^m A : R n → R m の像空間の次元のことを ランク（階数） といい、
A ∈ R m × n A \in \mathbb{R}^{m\times n} A ∈ R m × n m m m n n n
ランクの求め方 ¶ 線形写像を定める行列に行基本変形を行って階段行列を作ったとき、零ベクトルでない行の数がランクに相当する。
例（ランクの求め方）
3次実正方行列A A A f ( x ) = A x ( x ∈ R 3 ) f(x) = Ax \ (x\in \mathbb{R}^3) f ( x ) = A x ( x ∈ R 3 )
ここでA A A
A = ( 1 2 3 2 3 4 3 4 5 ) A = \begin{pmatrix}
1 & 2 & 3\\
2 & 3 & 4\\
3 & 4 & 5\\
\end{pmatrix} A = ⎝ ⎛ 1 2 3 2 3 4 3 4 5 ⎠ ⎞ とする。この線形写像f f f A A A
1. 行基本変形で階段行列を作る
1行目を2倍して2行目から引く
( 1 2 3 0 − 1 − 2 3 4 5 ) \begin{pmatrix}
1 & 2 & 3\\
0 & -1 & -2\\
3 & 4 & 5\\
\end{pmatrix} ⎝ ⎛ 1 0 3 2 − 1 4 3 − 2 5 ⎠ ⎞ 1行目を3倍して3行目から引く
( 1 2 3 0 − 1 − 2 0 − 2 − 4 ) \begin{pmatrix}
1 & 2 & 3\\
0 & -1 & -2\\
0 & -2 & -4\\
\end{pmatrix} ⎝ ⎛ 1 0 0 2 − 1 − 2 3 − 2 − 4 ⎠ ⎞ 2行目を2倍して3行目から引く
( 1 2 3 0 − 1 − 2 0 0 0 ) \begin{pmatrix}
1 & 2 & 3\\
0 & -1 & -2\\
0 & 0 & 0\\
\end{pmatrix} ⎝ ⎛ 1 0 0 2 − 1 0 3 − 2 0 ⎠ ⎞ 階段行列になった。
2. 零ベクトルでない行ベクトルの数を数える
零ベクトルでない行の数は2であるので、rank f = rank A = 2 \operatorname{rank} f = \operatorname{rank} A = 2 rank f = rank A = 2
import numpy as np
A = np.array([
[1, 2, 3],
[2, 3, 4],
[3, 4, 5],
])
np.linalg.matrix_rank(A)ベクトル空間の1次独立なベクトルの最大個数を次元という
次元定理 ¶ m × n m\times n m × n A A A
が成り立つ。
次元定理（線形写像ver.） ¶ n n n X X X m m m Y Y Y
を線形写像とすると、次元定理は以下のように表される。
dim Im f + dim Ker f = dim X \dim \mathop{\text{Im}} f + \dim \mathop{\text{Ker}} f = \dim X dim Im f + dim Ker f = dim X また
から、同値の定理として
rank f + nullity f = n \mathop{\text{rank}} f + \mathop{\text{nullity}} f = n rank f + nullity f = n とも表される