固有値と固有ベクトル

固有値と固有ベクトル#

定義#

$n$ 次の正方行列 $A$ に対して

A x = λ x

が成り立つとき、スカラー $λ$ を $A$ の固有値（eigenvalue）といい、 $n$ 次元ベクトル $x (\neq 0)$ を $A$ の $λ$ に対応する固有ベクトル（eigenvector）と呼ぶ。

線形変換を使う定義#

ベクトル空間 $V$ から自分自身への線形写像を 線形変換 という。

「線形変換 $f : V \to V$ が与えられたとき、あるベクトル $x \neq 0$ があって、 $f$ は $x$ を $x$ の定数倍 $λ x$ に写すようにできるだろうか？」が固有値の議論の出発点となる

定義

線形変換 $f : V \to V$ において

f (x) = λ x, x \in V, x \neq 0, λ \in R

をみたす $λ$ を $f$ の 固有値、 $x$ を固有値 $λ$ に属する 固有ベクトル という。

線形写像は具体的には行列で表すことができるため（線形写像の行列表現）、 $f (x) = λ x$ は $A x = λ x$ と等しい。

固有空間#

定理

ベクトル空間 $V$ の線形変換 $f$ の固有値の 1 つを $λ$ とする。 $λ$ に属する $f$ の固有ベクトル全体とゼロベクトルからなる集合 $V (λ)$ は集合

{x \in V ∣ f (x) = λ x}

と一致し、 $V$ の部分空間になる。なお、 $V (λ)$ を $f$ の固有値 $λ$ に属する 固有空間 という。

固有空間は、 $f$ に対応する $n$ 次正方行列 $A$ と $n$ 次単位行列 $I$ を用いて

Ker (A - λ I) = {x \in V ∣ (A - λ I) x = 0}

と表すこともできる。

広義固有空間#

ある自然数 $k$ に対して

(A - λ I)^{k} x = 0

を満たす $x \in R^{n}$ を $A$ の固有値 $λ$ に対する 広義固有ベクトル (generalized eigenvector) という。

固有値 $λ$ に対する広義固有ベクトル全体に $0$ を加えた集合

\tilde{W} (λ) = {x \in R^{n} ∣ \exists k \in N, (A - λ I)^{k} x = 0}

を $λ$ に対する 広義固有空間 (generalized eigenspace) という。

広義固有空間も $R^{n}$ の部分空間である

固有値の必要十分条件#

定理

$n$ 次正方行列 $A$ が与えられたとき、 $λ$ が $A$ の固有値である必要十分条件は

det (A - λ I) = 0

をみたすことである。ここで $I$ は $n$ 次単位行列である。

固有方程式#

A x = λ x

は単位行列 $I$ を用いて

(A - λ I) x = 0

と表すことができる（もちろん $(λ I - A) x = 0$ も可）。

斉次連立一次方程式の解が非自明な解 $x \neq 0$ を持つことと、行列式 $det (A - λ I) = 0$ となることは同値であるので、固有ベクトルが $x \neq 0$ であるためには

det (A - λ I) = 0

でなければならない。この式を 固有方程式 あるいは 特性方程式 と呼び、固有値は固有方程式の解として求める。

固有多項式（特性多項式）#

$n$ 次正方行列 $A$ に対し、

\begin{array}{r} ϕ_{A} (λ) = det (A - λ I) = det (\begin{array}{cccc} a_{11} - λ & a_{12} & \dots & a_{1 n} \\ a_{21} & a_{22} - λ & \dots & a_{2 n} \\ ⋮ & ⋱ & ⋮ \\ a_{n 1} & \dots & \dots & a_{n n} - λ \end{array}) \end{array}

で定義される変数 $λ$ についての多項式 $ϕ_{A} (λ)$ を、行列 $A$ の固有多項式 または 特性多項式という。

固有値・固有ベクトルの求め方#

例題

\begin{array}{r} A = (\begin{array}{c} 1 & 1 \\ 2 & 2 \end{array}) \end{array}

とする。

$A$ の固有値と、各固有値に属する1つの固有ベクトルと、固有空間 $V (λ)$ を求めよ

固有値を求める#

$(A - λ E) x = 0$ が非自明な解 $x \neq 0$ を持つためには $det (A - λ E) = 0$ である必要があるため、そのような $λ$ を求める（固有方程式を解く）

（もし $A$ が対角行列などの行列式を求めやすい形状の行列であった場合、この部分が少し楽になるので活用しよう）

\begin{array}{r} \begin{aligned} det (A - λ I) & = det (\begin{array}{c} 1 - λ & 1 \\ 2 & 2 - λ \end{array}) \\ = (1 - λ) (2 - λ) - 2 \\ = 2 - 3 λ + λ^{2} - 2 \\ = λ^{2} - 3 λ \\ = (λ - 3) λ & = 0 \end{aligned} \end{array}

なので、 $λ = 0, 3$

固有空間・固有ベクトルを求める#

固有値に対応するベクトルを求める

$λ = 0$ の場合：

A x = λ x

は

\begin{array}{r} (\begin{array}{c} 1 & 1 \\ 2 & 2 \end{array}) (\begin{array}{c} x_{1} \\ x_{2} \end{array}) = λ (\begin{array}{c} x_{1} \\ x_{2} \end{array}) \end{array}

であり

\begin{array}{r} {\begin{cases} x_{1} + x_{2} = 0 \\ 2 x_{1} + 2 x_{2} = 0 \end{cases} \end{array}

となる。

これを解くと

\begin{array}{r} x_{1} = - x_{2} \\ x_{2} = - x_{1} \end{array}

つまり

\begin{array}{r} x = (\begin{array}{c} x_{1} \\ - x_{1} \end{array}) \end{array}

であるため、未知の数 $c \in R$ をもちいて

\begin{array}{r} x = c (\begin{array}{c} 1 \\ - 1 \end{array}) \end{array}

と表すことができる。そのため、例えば $(\begin{matrix} 1 \\ - 1 \end{matrix})$ は固有値 $0$ に属する固有ベクトルのひとつになる。

固有空間は

\begin{array}{r} V (0) = {c (\begin{array}{c} 1 \\ - 1 \end{array}) | c \in R} \end{array}

となる。

$λ = 3$ の場合：

A x = λ x

は

\begin{array}{r} {\begin{cases} x_{1} + x_{2} = 3 x_{1} \\ 2 x_{1} + 2 x_{2} = 3 x_{2} \end{cases} \end{array}

となる。

これを解くと

x_{2} = 2 x_{1}

であるため、

\begin{array}{r} x = (\begin{array}{c} x_{1} \\ 2 x_{1} \end{array}) = c (\begin{array}{c} 1 \\ 2 \end{array}), c \in R \end{array}

となり、例えば $(\begin{matrix} 1 \\ 2 \end{matrix})$ が固有値 $3$ の固有ベクトルの一つである。

固有空間 $V (λ)$ は

\begin{array}{r} V (3) = {c (\begin{array}{c} 1 \\ 2 \end{array}) | c \in R} \end{array}

となる。

numpy#

numpyのnumpy.linalg.eig()の返り値はノルムが1になるように正規化されている

import numpy as np

A = np.array([
    [1, 1],
    [2, 2],
])

lambdas, vectors = np.linalg.eig(A)
print(f"""
λ={lambdas}
x1={vectors[:, 0].round(3)}
x1'={(vectors[:, 0].round(3) * -np.sqrt(2)).round(1)}
x2={vectors[:, 1].round(3)}
x2'={(vectors[:, 1].round(3) * -np.sqrt(5)).round(1)}
""")

λ=[0. 3.]
x1=[-0.707  0.707]
x1'=[ 1. -1.]
x2=[-0.447 -0.894]
x2'=[1. 2.]

np.array([1, -1]) / np.sqrt(2)

array([ 0.70710678, -0.70710678])

$λ = 0$ について、

\begin{array}{r} x = - \frac{1}{\sqrt{5}} (\begin{array}{c} 1 \\ 2 \end{array}) ≃ (\begin{array}{c} 0.447 \\ 0.894 \end{array}) \end{array}

$λ = 3$ について、

\begin{array}{r} x = - \frac{1}{\sqrt{2}} (\begin{array}{c} 1 \\ - 1 \end{array}) ≃ (\begin{array}{c} - 0.707 \\ 0.707 \end{array}) \end{array}

例1. 対角行列

対角行列の固有値は対角成分になる。

\begin{array}{r} A = (\begin{array}{c} 4 & 0 \\ 0 & 3 \end{array}) \end{array}

なら

\begin{array}{r} ϕ_{A} (λ) = det (\begin{array}{c} 4 - λ & 0 \\ 0 & 3 - λ \end{array}) = 0 \end{array}

より

(4 - λ) (3 - λ) = 0

なので解は

λ = 4, 3

import numpy as np

A = np.array([
    [4, 0],
    [0, 3],
])

lambdas, vectors = np.linalg.eig(A)
print(f"""
λ={lambdas}
x1={vectors[:, 1].round(3)}
x2={vectors[:, 0].round(3)}
""")

λ=[4. 3.]
x1=[0. 1.]
x2=[1. 0.]

例2.

\begin{array}{r} A = (\begin{array}{c} 3 & - 2 \\ 1 & 0 \end{array}) \end{array}

なら

\begin{array}{r} \begin{aligned} ϕ_{A} (λ) & = det (\begin{array}{c} 3 - λ & - 2 \\ 1 & - λ \end{array}) = 0 \\ = (3 - λ) \cdot (- λ) - (- 2) \cdot 1 \\ = λ^{2} - 3 λ + 2 \\ = (λ - 2) (λ - 1) \end{aligned} \end{array}

よって $λ = 2, 1$

import numpy as np

A = np.array([
    [3, -2],
    [1, 0],
])

lambdas, vectors = np.linalg.eig(A)
print(f"""
λ={lambdas}
x1={vectors[:, 1].round(3)}
x2={vectors[:, 0].round(3)}
""")

λ=[2. 1.]
x1=[0.707 0.707]
x2=[0.894 0.447]

固有ベクトルの計算#

固有値が求まれば、あとは定義にあうベクトルを求めるのみ。

例1.

\begin{array}{r} A = (\begin{array}{c} 3 & - 2 \\ 1 & 0 \end{array}) \end{array}

の場合、 $λ = 1, 2$ なので

まず $λ = 1$ の場合

\begin{array}{r} \begin{aligned} A x & = λ x \\ \to (\begin{array}{c} 3 & - 2 \\ 1 & 0 \end{array}) (\begin{array}{c} x_{1} \\ x_{2} \end{array}) & = (\begin{array}{c} x_{1} \\ x_{2} \end{array}) \end{aligned} \end{array}

なので

\begin{array}{r} \begin{aligned} 3 x_{1} - 2 x_{2} & = x_{1} \\ x_{1} & = x_{2} \end{aligned} \end{array}

これを解き、 $0$ 以外の任意の数 $s$ を使って表すと

\begin{array}{r} x = s (\begin{array}{c} 1 \\ 1 \end{array}) \end{array}

となる。

そのため、固有空間 $W (λ)$ は

W (1) = {s (\binom{1}{1}) | s \in R} .

であり、固有空間のうちの一つの固有ベクトルが $(\binom{1}{1})$ となる。

$λ = 2$ の場合、

\begin{array}{r} (\begin{array}{c} 3 & - 2 \\ 1 & 0 \end{array}) (\begin{array}{c} x_{1} \\ x_{2} \end{array}) = 2 (\begin{array}{c} x_{1} \\ x_{2} \end{array}) \end{array}

\begin{array}{r} \begin{aligned} 3 x_{1} - 2 x_{2} & = 2 x_{1} \\ x_{1} & = 2 x_{2} \end{aligned} \end{array}

\begin{array}{r} x = s (\begin{array}{c} 2 \\ 1 \end{array}) \end{array}

対象行列の固有値は負をとらない
固有値に0がある（正定値じゃない）と、ランクが下がり、逆行列をもたない

固有値を求めやすい行列#

三角行列や対角行列は求めやすい

定理

$n$ 次正方行列 $A$ が三角行列であるとき、 $A$ の固有値全体は重複もこめて $A$ の対角成分と一致する

定理

$n$ 次正方行列 $A$ が

\begin{array}{r} A = (\begin{array}{ll} B & C \\ O & D \end{array}) \end{array}

の形をしているとする。ここで $B$ は $r$ 次正方行列、 $C$ は $r \times s$ 行列、 $D$ は $s$ 次正方行列、 $O$ はすべての成分が 0 からなる $s \times r$ 行列を表わす。そのとき、

φ_{A} (t) = φ_{B} (t) \cdot φ_{D} (t)

が成り立つ。したがって、行列 $A$ の固有値の全体は重複もこめて、行列 $B$ の固有値と、行列 $D$ の固有値を合せたものと一致する。

固有値の重複度#

固有方程式の解の重複度を、固有値の 重複度 という。

固有値の重複度と固有空間の次元数には次のような関係がある

定理

$A \in M_{n} (R)$ 、 $λ$ を $A$ の1つの固有値とするとき、

$λ$ に属する固有空間の次元 $\leq$ $λ$ の重複度

が成り立つ

例

\begin{array}{r} A = (\begin{array}{c} 1 & 1 \\ 0 & 1 \end{array}) \end{array}

は、三角行列なので

\begin{array}{r} det (A - λ I) = det (\begin{array}{c} 1 - λ & 1 \\ 0 & 1 - λ \end{array}) = (1 - λ)^{2} \end{array}

と、 $λ = 1$ だけが固有値で、その重複度は2である。固有空間 $V (1)$ は

V (1) = {c (\binom{1}{0}) | c \in R}

この空間の次元は1である。

線形変換と表現行列の固有値は同じものになる。

定理

線形変換 $f : V \to V$ が与えられたとき、 $V$ の 1 つの基底をとり、その基底に関する $f$ の表現行列を $A$ とする。そのとき、 $f$ の固有値の集合は重複もこめて、 $A$ の固有値の集合と一致する。

固有値・固有ベクトルに関する定理#

固有値・固有ベクトルの存在#

任意の正方行列について、「固有値・固有ベクトルは存在する」という解説と「固有値・固有ベクトルは存在するとは限らない」という解説がある。どちらが正しいのか・・・。

固有値・固有ベクトルは存在する#

$λ$ に関する $n$ 次方程式であるので、代数学の基本定理によって、複素数の範囲に解が存在することが保証される。

固有値と固有ベクトルの解説～具体例と性質～ (証明付) - 理数アラカルト -

解があっても非自明な解とは限らないのでは

固有値・固有ベクトルは存在するとは限らない#

川久保(2010)の反例

行列 $A = (\begin{array}{rr} 0 & 1 \\ - 1 & 0 \end{array})$ で与えられる線形変換 $A : R^{2} \to R^{2}$ を考える。

A x = λ x x = (\binom{x}{y})

をみたす $λ \in R$ と $x \neq 0$ が存在したとすると、

\begin{array}{r} (\begin{array}{rr} 0 & 1 \\ - 1 & 0 \end{array}) (\binom{x}{y}) = λ (\binom{x}{y}) \end{array}

これより等式

\begin{array}{r} {\begin{matrix} y = λ x \\ - x = λ y \end{matrix} \end{array}

を得る。第1式を第2式に代入して

- x = λ (λ x) = λ^{2} x ゆえに (λ^{2} + 1) x = 0

となる. これより $x = 0$ . これを第 1 式に代入して $y = 0$ となる. つまり $x = 0$ である。固有ベクトルはゼロベクトルでないものをいうから，これは固有ベクトルではない。つまり，この行列には固有値も固有ベクトルも存在しない。

（川久保勝夫. (2010). 線形代数学 [新装版]. より）

固有ベクトルの1次独立性#

定理

$n$ 次正方行列 $A$ の相異なる固有値を $λ_{1}, \dots, λ_{s} (s ≦ n)$ とする。各固有値 $λ_{i}$ に属する固有ベクトルを $x_{i}$ とするとき、 $x_{1}, \dots, x_{s}$ は 1 次独立である。

三角化定理#

線形変換 $f$ の固有多項式 $ϕ (λ)$ が $n$ 個の1次式の積に分解される

三角化定理

$V$ を $K$ 上の $n$ 次元ベクトル空間、 $f$ を $V$ の線型変換とし、 $f$ の固有値を $α_{1}, α_{2}, \dots, α_{n}$ とする。

そのとき、 $f$ は $V$ の適当な基底によって、三角行列

\begin{array}{r} [\begin{array}{llll} α_{1} & * \\ α_{2} \\ ⋱ \\ α_{n} \end{array}] \end{array}

で表現される。

フロベニウスの定理#

フロベニウスの定理 (Frobenius theorem)

フロベニウスの定理

$f (x) = a_{m} x^{m} + a_{m - 1} x^{m - 1} + \dots + a_{0}$ を多項式とする。 $n$ 次正方行列 $A$ の固有値を $λ_{1}, λ_{2}, \dots, λ_{n}$ とするとき，正方行列

f (A) = a_{m} A^{m} + a_{m - 1} A^{m - 1} + \dots + a_{0} I_{n}

の固有値は $f (λ_{1}), f (λ_{2}), \dots, f (λ_{n})$ である。

ケイリー・ハミルトンの定理#

ケイリー・ハミルトンの定理

$A$ の固有多項式を $ϕ_{A} (t)$ とするとき

ϕ_{A} (A) = O

になる

ケイリー・ハミルトンの定理 - Wikipedia

例：

2次正方行列

\begin{array}{r} A = (\begin{array}{ll} a & b \\ c & d \end{array}) \end{array}

の場合、固有多項式は

\begin{array}{r} \begin{aligned} ϕ_{A} (λ) & = det (A - λ I) = det (\begin{array}{cc} a - λ & b \\ c & d - λ \end{array}) \\ = (a - λ) (d - λ) - b c \\ = a d - a λ - d λ + λ^{2} - b c \\ = λ^{2} - (a + d) λ + (a d - b c) \end{aligned} \end{array}

なので

ϕ_{A} (A) = A^{2} - (a + d) A + (a d - b c) I = O

という形になる。実際に計算してみると

\begin{array}{r} \begin{aligned} A^{2} - (a + d) A + (a d - b c) I \\ = (\begin{array}{c} a & b \\ c & d \end{array}) (\begin{array}{c} a & b \\ c & d \end{array}) - a (\begin{array}{c} a & b \\ c & d \end{array}) - d (\begin{array}{c} a & b \\ c & d \end{array}) + (a d - b c) I \\ = (\begin{array}{c} a^{2} + b c & a b + b d \\ a c + c d & b c + d^{2} \end{array}) - (\begin{array}{c} a^{2} & a b \\ a c & a d \end{array}) - (\begin{array}{c} a d & b d \\ c d & d^{2} \end{array}) + (a d - b c) I \\ = (\begin{array}{c} b c & b d \\ c d & b c + d^{2} - a d \end{array}) - (\begin{array}{c} a d & b d \\ c d & d^{2} \end{array}) + (a d - b c) I \\ = (\begin{array}{c} b c - a d & 0 \\ 0 & b c - a d \end{array}) + (a d - b c) I \\ = (\begin{array}{c} 0 & 0 \\ 0 & 0 \end{array}) \end{aligned} \end{array}

となる。

ケイリー・ハミルトンの定理は何の役に立つのか

→ $n$ 乗を計算するときに計算量を抑えられる

例えばケイリー・ハミルトンの定理から $A^{3} - A + 2 I = O$ がわかっている状況で $A^{7}$ を求めたいとする。

$A^{3} = A - 2 I$ だから、3乗をくくりだせば

\begin{array}{r} \begin{aligned} A^{7} & = A^{3} A^{3} A \\ = (A - 2 I) (A - 2 I) A \\ = (A^{2} - 4 A + 4 I) A \\ = A^{3} - 4 A^{2} + 4 A \\ = (A - 2 I) - 4 A^{2} + 4 A \\ = - 4 A^{2} + 5 A - 2 I \end{aligned} \end{array}

となり、行列積の計算としては $A^{2}$ だけを計算すれば済む。

固有値は写像の行列表現のとりかた（基底のとりかた）に依らず一定#

定義：相似

$n$ 次正方行列 $A, B$ に対して、

B = P^{- 1} A P

となる正則行列 $P$ が存在するとき、 $A$ と $B$ は相似であるという。

定理

$n$ 次正方行列 $A, B$ が相似であれば、両者の固有多項式は一致する、すなわち

φ_{A} (t) = φ_{B} (t)

である。したがって、 $A$ と $B$ の固有値全体は重複もこめて一致する。

定理

線形変換 $f : V \to V$ が与えられたとき、 $V$ の 1 つの基底をとり、その基底に関して $f$ を行列表示したものを $A$ とする。

そのとき、行列 $A$ の固有多項式 $φ_{A} (t)$ は基底の取り方によらない。

import numpy as np

V = np.array([
    [1, 2],
    [2, 1],
])

W = np.array([
    [1, 1],
    [1, -1],
])

A = np.linalg.inv(W) @ V

lambdas, vectors = np.linalg.eig(A)
print(f"""
λ={lambdas}
x1={vectors[:, 0].round(3)}
x1'={(vectors[:, 0].round(3) * -np.sqrt(2)).round(1)}
x2={vectors[:, 1].round(3)}
x2'={(vectors[:, 1].round(3) * -np.sqrt(5)).round(1)}
""")

λ=[1.+0.70710678j 1.-0.70710678j]
x1=[ 0.866+0.j    -0.289+0.408j]
x1'=[-1.2+0.j   0.4-0.6j]
x2=[ 0.866-0.j    -0.289-0.408j]
x2'=[-1.9+0.j   0.6+0.9j]

import numpy as np

A = np.array([
    [1, 2],
    [2, 1],
])

lambdas, vectors = np.linalg.eig(A)
print(f"""
λ={lambdas}
x1={vectors[:, 0].round(3)}
x1'={(vectors[:, 0].round(3) * -np.sqrt(2)).round(1)}
x2={vectors[:, 1].round(3)}
x2'={(vectors[:, 1].round(3) * -np.sqrt(5)).round(1)}
""")

λ=[ 3. -1.]
x1=[0.707 0.707]
x1'=[-1. -1.]
x2=[-0.707  0.707]
x2'=[ 1.6 -1.6]

固有値と固有ベクトル

Contents

固有値と固有ベクトル#