行列

行列#

行列はベクトルを集めたもの

\begin{array}{r} A = (\begin{array}{c} a_{11} & a_{12} \\ a_{21} & a_{22} \end{array}) \end{array}

行列積#

\begin{array}{r} A = (\begin{array}{c} a_{11} & a_{12} \\ a_{21} & a_{22} \end{array}), B = (\begin{array}{c} b_{11} & b_{12} \\ b_{21} & b_{22} \end{array}) \end{array}

とすると、行列積（matrix multiplication）は

\begin{array}{r} A B = (\begin{array}{c} a_{11} & a_{12} \\ a_{21} & a_{22} \end{array}) (\begin{array}{c} b_{11} & b_{12} \\ b_{21} & b_{22} \end{array}) = (\begin{array}{c} a_{11} b_{11} + a_{12} b_{21} & a_{11} b_{12} + a_{12} b_{22} \\ a_{21} b_{11} + a_{22} b_{21} & a_{21} b_{12} + a_{22} b_{22} \end{array}) \end{array}

ベクトルの直積との関係#

2つのベクトル $a, b$ のテンソル積

\begin{array}{r} a \circ b = a \otimes b = a b^{T} = (\begin{array}{c} a_{1} \\ a_{2} \\ ⋮ \\ a_{n} \end{array}) (\begin{array}{c} b_{1} & b_{2} & \dots & b_{n} \end{array}) = (\begin{array}{c} a_{1} b_{1} & a_{1} b_{2} & \dots & a_{1} b_{n} \\ a_{2} b_{1} & a_{2} b_{2} & \dots & a_{2} b_{n} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{n} b_{1} & a_{n} b_{2} & \dots & a_{n} b_{n} \end{array}) \end{array}

を直積（direct product）あるいは外積（outer product）という。

行列積と直積の関係

行列 $A, B$ の $i$ 番目の列ベクトルを $a_{i}, b_{i}$ とし、行ベクトルを $a_{i}^{T}, b_{i}^{T}$ とする。このとき、

A^{T} B = \sum_{i = 1}^{n} a_{i} b_{i}^{T}

が成り立つ。この形式は計量経済学（回帰分析）の漸近正規性の証明などで多用される。

（例） $A, B \in R^{2 \times 2}$ のとき、

\begin{array}{r} \begin{aligned} A^{T} B & = (\begin{array}{c} a_{11} & a_{21} \\ a_{12} & a_{22} \end{array}) (\begin{array}{c} b_{11} & b_{12} \\ b_{21} & b_{22} \end{array}) \\ = (\begin{array}{c} a_{11} b_{11} + a_{21} b_{21} & a_{11} b_{12} + a_{21} b_{22} \\ a_{12} b_{11} + a_{22} b_{21} & a_{12} b_{12} + a_{22} b_{22} \end{array}) \end{aligned} \end{array}

であり、

\begin{array}{r} a_{1} = (\begin{array}{c} a_{11} \\ a_{12} \end{array}), b_{1}^{T} = (\begin{array}{c} b_{11} & b_{12} \end{array}) \end{array}

から

\begin{array}{r} \begin{aligned} \sum_{i = 1}^{2} a_{i} b_{i}^{T} & = (\begin{array}{c} a_{11} \\ a_{12} \end{array}) (\begin{array}{c} b_{11} & b_{12} \end{array}) + (\begin{array}{c} a_{21} \\ a_{22} \end{array}) (\begin{array}{c} b_{21} & b_{22} \end{array}) \\ = (\begin{array}{c} a_{11} b_{11} & a_{11} b_{12} \\ a_{12} b_{11} & a_{12} b_{12} \end{array}) + (\begin{array}{c} a_{21} b_{21} & a_{21} b_{22} \\ a_{22} b_{21} & a_{22} b_{22} \end{array}) \end{aligned} \end{array}

であるため。

行列積との関係

行列の一部をベクトルで表して（＝ブロック行列）、通常の行列積の定義をベクトルの積の形で表すこともできる

$n$ 次元正方行列 $A, B$ の $i$ 番目の列ベクトルを $a_{i}, b_{i}$ とし、行ベクトルを $a_{i}^{T}, b_{i}^{T}$ とする。このとき、

\begin{array}{r} \begin{aligned} B A & = (\begin{array}{c} b_{1}^{T} \\ b_{2}^{T} \\ ⋮ \\ b_{n}^{T} \end{array}) (\begin{array}{c} a_{1}, a_{2}, \dots, a_{n} \end{array}) = (\begin{array}{c} b_{1}^{T} a_{1} & b_{1}^{T} a_{2} & \dots & b_{1}^{T} a_{n} \\ b_{2}^{T} a_{1} & b_{2}^{T} a_{2} & \dots & b_{2}^{T} a_{n} \\ ⋮ & ⋮ & ⋮ \\ b_{n}^{T} a_{1} & b_{n}^{T} a_{2} & \dots & b_{n}^{T} a_{n} \end{array}) \end{aligned} \end{array}

import numpy as np

A = np.array([
    [1, 2],
    [3, 4],
])

(A.T @ A).T

array([[10, 14],
       [14, 20]])

行列と写像#

行列は写像である

（平岡和幸, & 堀玄. (2004). プログラミングのための線形代数. 株式会社オーム社.）

例：ベクトル $x$ に行列 $A$ を掛けて $y$ とする

y = A x

$x$ を $y$ に写す写像（≒関数）が行列 $A$

連立一次方程式を行列で表すこともできる。

\begin{array}{r} {\begin{cases} \begin{aligned} a_{11} x_{1} + a_{12} x_{2} + & \dots + a_{1 m} x_{m} = y_{1} \\ a_{21} x_{1} + a_{22} x_{2} + & \dots + a_{2 m} x_{m} = y_{2} \\ ⋮ \\ a_{n 1} x_{1} + a_{n 2} x_{2} + & \dots + a_{n m} x_{m} = y_{n} \end{aligned} \end{cases} \end{array}

のような連立一次方程式は、

\begin{array}{r} A = (\begin{array}{c} a_{11} & a_{12} & \dots & a_{1 m} \\ a_{21} & a_{22} & \dots & a_{2 m} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{n 1} & a_{n 2} & \dots & a_{n m} \end{array}), x = (\begin{array}{c} x_{1} \\ x_{2} \\ ⋮ \\ x_{m} \end{array}), y = (\begin{array}{c} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{array}) \end{array}

を用いて

A x = y

と表すことができる。

行列の計算規則#

行列の和#

A (B + C) = A B + A C

import numpy as np
A = np.array([
    [1, 0],
    [0, 0]
])
B = np.array([
    [2, 0],
    [0, 3]
])
C = np.array([
    [0, -1],
    [-1, 0]
])

A @ (B + C)

array([[ 2, -1],
       [ 0,  0]])

A @ B + A @ C

array([[ 2, -1],
       [ 0,  0]])

べき乗#

\begin{array}{r} \begin{aligned} A A & = A^{2} \\ A A A & = A^{3} \end{aligned} \end{array}

\begin{array}{r} \begin{aligned} A^{n + m} & = A^{n} + A^{m} \\ (A^{n})^{m} & = A^{n m} \end{aligned} \end{array}

普通の数取は異なる計算規則#

\begin{array}{r} \begin{aligned} (A + B)^{2} & = A^{2} + A B + B A + B^{2} \\ (A + B) (A - B) & = A^{2} - A B + B A - B^{2} \\ (A B)^{2} & = A B A B \end{aligned} \end{array}

左右を入れ替えなければどこにカッコをつけてもおなじ#

例えばベクトル $x = (x_{1}, x_{2}, \dots, x_{n})$ について、 $x x^{T} x$ は $(x x^{T}) x$ と捉えるより $x (x^{T} x)$ としたほうが楽

\begin{array}{r} (x x^{T}) x = (\begin{array}{c} x_{1}^{2} & x_{1} x_{2} & \dots & x_{1} x_{n} \\ x_{2} x_{1} & x_{2}^{2} & \dots & x_{2} x_{n} \\ ⋮ & ⋮ & ⋮ \\ x_{n} x_{1} & x_{n} x_{2} & \dots & x_{n}^{2} \end{array}) (\begin{array}{c} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{array}) = (\begin{array}{c} x_{1}^{2} \cdot x_{1} + x_{1} x_{2} \cdot x_{2} + \dots + x_{1} x_{n} \cdot x_{n} \\ x_{2} x_{1} \cdot x_{1} + x_{2}^{2} \cdot x_{2} + \dots + x_{2} x_{n} \cdot x_{n} \\ ⋮ \\ x_{n} x_{1} \cdot x_{1} + x_{n} x_{2} \cdot x_{2} + \dots + x_{n}^{2} \cdot x_{n} \end{array}) = (\begin{array}{c} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{array}) \sum_{i = 1}^{n} x_{i}^{2} \end{array}

\begin{array}{r} x (x^{T} x) = (\begin{array}{c} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{array}) \sum_{i = 1}^{n} x_{i}^{2} \end{array}

行列の転置#

行列の転置の性質

$(A^{T})^{T} = A$
$(c A + d B)^{T} = c A^{T} + d B^{T}$
$(A B)^{T} = B^{T} A^{T}$
$(A^{T})^{- 1} = (A^{- 1})^{T}$
$| A^{T} | = | A |$

対称行列#

A^{T} = A

を満たす正方行列 $A$ を対称行列（symmetric matrix）という

可換#

$A B = B A$ が成り立つとき、 $A$ と $B$ は可換であるという

import numpy as np

A = np.array([
    [1, 0],
    [0, 1]
])
B = np.array([
    [1, 1],
    [1, 1]
])

(A @ B == B @ A).all()

True

ブロック行列#

行列をいくつかのブロック（小行列）に分けて扱うことがある

\begin{array}{r} A = (\begin{array}{ccccc} 1 & 2 & 3 & ⋮ & 4 \\ 5 & 6 & 7 & ⋮ & 8 \\ \dots & \dots & \dots & \dots & \dots \\ 9 & 10 & 11 & ⋮ & 12 \end{array}) = (\begin{array}{ll} A_{11} & A_{12} \\ A_{21} & A_{22} \end{array}) \end{array}

特に行ベクトルや列ベクトルに分けると扱いやすい

\begin{array}{r} A B = (\begin{array}{c} a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{array}) (\begin{array}{lll} b_{1}^{'} & \dots & b_{l}^{'} \end{array}) = (\begin{array}{cccc} a_{1} b_{1}^{'} & a_{1} b_{2}^{'} & \dots & a_{1} b_{ι}^{'} \\ a_{2} b_{1}^{'} & a_{2} b_{2}^{'} & \dots & a_{2} b_{l}^{'} \\ ⋮ & ⋮ & ⋮ \\ a_{m} b_{1}^{'} & a_{m} b_{2}^{'} & \dots & a_{m} b_{l}^{'} \end{array}) \end{array}

\begin{array}{r} A B = (\begin{array}{c} a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{array}) B = (\begin{array}{c} a_{1} B \\ a_{2} B \\ ⋮ \\ a_{m} B \end{array}) \end{array}

A B = A (\begin{array}{llll} b_{1}^{'} & b_{2}^{'} & \dots & b_{l}^{'} \end{array}) = (\begin{array}{llll} A b_{1}^{'} & A b_{2}^{'} & \dots & A b_{l}^{'} \end{array})

\begin{array}{r} A B = (\begin{array}{llll} a_{1}^{'} & a_{2}^{'} & \dots & a_{n}^{'} \end{array}) (\begin{array}{c} b_{1} \\ b_{2} \\ ⋮ \\ b_{n} \end{array}) = (a_{1}^{'} b_{1} + a_{2}^{'} b_{2} + \dots + a_{n}^{'} b_{n}) \end{array}

ブロック行列の積#

一般に、積が定義可能な行列 $A, B$ に対して

\begin{array}{r} A = (\begin{array}{c} A_{11} & A_{12} \\ A_{21} & A_{22} \end{array}), B = (\begin{array}{c} B_{11} & B_{12} \\ B_{21} & B_{22} \end{array}) \end{array}

と分割するとする。ここで $A_{11} \in R^{s \times r}, A_{12} \in R^{s \times n - r}, A_{21} \in R^{m - s \times r}, A_{22} \in R^{m - s \times n - r}$ で、 $B_{11} \in R^{r \times t}, B_{12} \in R^{r \times l - t}, B_{21} \in R^{n - r \times t}, B_{22} \in R^{n - r \times l - t}$ である。

このとき、

\begin{array}{r} A B = (\begin{array}{c} A_{11} & A_{12} \\ A_{21} & A_{22} \end{array}) (\begin{array}{c} B_{11} & B_{12} \\ B_{21} & B_{22} \end{array}) = (\begin{array}{c} A_{11} B_{11} + A_{12} B_{21} & A_{11} B_{12} + A_{12} B_{22} \\ A_{21} B_{11} + A_{22} B_{21} & A_{21} B_{12} + A_{22} B_{22} \end{array}) \end{array}

が成立する。

対角以外のブロック（ $A_{12}, A_{21}, B_{12}, B_{21}$ ）が零行列である場合

\begin{array}{r} (\begin{array}{c} A_{11} & O \\ O & A_{22} \end{array}) (\begin{array}{c} B_{11} & O \\ O & B_{22} \end{array}) = (\begin{array}{c} A_{11} B_{11} & O \\ O & A_{22} B_{22} \end{array}) \end{array}

となる

対角以外の部分に零でないブロック $*$ があっても、次のようになる

\begin{array}{r} \begin{aligned} (\begin{array}{c} A_{11} & O \\ * & A_{22} \end{array}) (\begin{array}{c} B_{11} & O \\ * & B_{22} \end{array}) & = (\begin{array}{c} A_{11} B_{11} & O \\ *^{'} & A_{22} B_{22} \end{array}) \\ (\begin{array}{c} A_{11} & * \\ O & A_{22} \end{array}) (\begin{array}{c} B_{11} & * \\ O & B_{22} \end{array}) & = (\begin{array}{c} A_{11} B_{11} & *^{'} \\ O & A_{22} B_{22} \end{array}) \end{aligned} \end{array}

ここで左辺の $*$ はブロックのサイズが合えばなんでもよいことを意味し、右辺の $*^{'}$ はそのサイズのある定まった行列を表す（左辺と右辺で $*$ の部分が等しいわけではない）

import numpy as np
np.array([
    [1, 2, 1, 0],
    [3, 4, 0, 1],
    [0, 0, 3, 1],
    [0, 0, 5, 1]
]) @ np.array([
    [1, 1, 1, 0],
    [2, 3, 0, 1],
    [0, 0, 2, 0],
    [0, 0, 0, 1]
])

array([[ 5,  7,  3,  2],
       [11, 15,  3,  5],
       [ 0,  0,  6,  1],
       [ 0,  0, 10,  1]])

np.array([
    [1, 2],
    [3, 4],
]) @ np.array([
    [1, 1],
    [2, 3],
])

array([[ 5,  7],
       [11, 15]])

例：

\begin{array}{r} M = (\begin{array}{c} I & A \\ O & I \end{array}) \end{array}

という行列があるとき、

\begin{array}{r} M^{2} = (\begin{array}{c} I & A^{'} \\ O & I \end{array}) \end{array}

この $A^{'}$ の部分は $A^{2}$ ではなく $2 A$

import numpy as np
M = np.array([
    [1, 0, 1, 2],
    [0, 1, 3, 4],
    [0, 0, 1, 0],
    [0, 0, 0, 1]
])

M @ M

array([[1, 0, 2, 4],
       [0, 1, 6, 8],
       [0, 0, 1, 0],
       [0, 0, 0, 1]])

# A^2
A = np.array([
    [1, 2],
    [3, 4],
])
A @ A

array([[ 7, 10],
       [15, 22]])

2 * A

array([[2, 4],
       [6, 8]])

import numpy as np
M = np.array([
    [1, 0, 1, 2],
    [0, 1, 3, 4],
    [0, 0, 1, 0],
    [0, 0, 0, 1]
])

M @ M @ M

array([[ 1,  0,  3,  6],
       [ 0,  1,  9, 12],
       [ 0,  0,  1,  0],
       [ 0,  0,  0,  1]])

import numpy as np
M = np.array([
    [1, 0, 0, 1, 2, 3],
    [0, 1, 0, 4, 5, 6],
    [0, 0, 1, 7, 8, 9],
    [0, 0, 0, 1, 0, 0],
    [0, 0, 0, 0, 1, 0],
    [0, 0, 0, 0, 0, 1]
])

M @ M

array([[ 1,  0,  0,  2,  4,  6],
       [ 0,  1,  0,  8, 10, 12],
       [ 0,  0,  1, 14, 16, 18],
       [ 0,  0,  0,  1,  0,  0],
       [ 0,  0,  0,  0,  1,  0],
       [ 0,  0,  0,  0,  0,  1]])

import numpy as np
M = np.array([
    [0, 0, 1, 2],
    [0, 0, 3, 4],
    [1, 0, 0, 0],
    [0, 1, 0, 0]
])

M @ M

array([[1, 2, 0, 0],
       [3, 4, 0, 0],
       [0, 0, 1, 2],
       [0, 0, 3, 4]])

import numpy as np
M = np.array([
    [0, 0, -1, 0],
    [0, 0, 0, 1],
    [1, 0, 0, 0],
    [0, -1, 0, 0]
])

M @ M

array([[-1,  0,  0,  0],
       [ 0, -1,  0,  0],
       [ 0,  0, -1,  0],
       [ 0,  0,  0, -1]])

import numpy as np
M = np.array([
    [0, 0, 0, -1],
    [0, 0, -1, 0],
    [1, 0, 0, 0],
    [0, 1, 0, 0]
])

M @ M

array([[ 0, -1,  0,  0],
       [-1,  0,  0,  0],
       [ 0,  0,  0, -1],
       [ 0,  0, -1,  0]])

基本変形#

行基本変形#

2つの行を入れ替える
ある行を $c$ 倍する（ $c \neq 0$ ）
ある行を $c$ 倍して他の行に加える

列基本変形#

2つの列を入れ替える
ある列を $c$ 倍する（ $c \neq 0$ ）
ある列を $c$ 倍して他の列に加える

参考文献#

線形代数１・第 3 回

行列

Contents

行列#