最尤推定法に基づく正規方程式の導出

最尤推定法に基づく正規方程式の導出#

被説明変数 $y$ を、説明変数 $X$ と回帰係数 $β$ の線形結合と誤差項 $ε$ によって表現する線形回帰モデル

y = X β + ε

を考える。また、以下を仮定する（古典的正規回帰モデル（Classical Normal Regression Model: CNRM） の仮定）

特に3（標本がi.i.d.）と5（正規性）は最尤推定のために必要で、誤差項 $ε_{i} = y_{i} - x_{i}^{⊤} β$ が従う分布型を仮定することで最尤推定が可能になる。

尤度としては、平均 $x_{i}^{⊤} β$ の正規分布で観測値 $y_{i}$ が得られる確率 $N (y_{i} | x_{i}^{⊤} β, σ^{2} I)$ を用いて

L (y | X, β, σ) = \prod_{i = 1}^{N} N (y_{i} | x_{i}^{⊤} β, σ^{2} I)

ただし、 $N$ は正規分布

N (x | μ, σ^{2}) = \frac{1}{\sqrt{2 π} σ} \exp {- \frac{(x - μ)^{2}}{2 σ^{2}}}, - \infty < x < \infty

対数尤度は

\begin{array}{r} \begin{aligned} \ln L (y | X, β, σ) & = \sum_{i = 1}^{N} \ln N (y_{i} | x_{i}^{⊤} β, σ^{2}) \\ = - \frac{N}{2} \ln (2 π) - \frac{N}{2} \ln σ^{2} - \frac{1}{2 σ^{2}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β)^{2} \end{aligned} \end{array}

導出メモ

まず尤度を軽く整理する

\begin{array}{r} \begin{aligned} L (μ, σ^{2}) & = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} \exp {- \frac{(x_{i} - μ)^{2}}{2 σ^{2}}} \\ = {(\frac{1}{\sqrt{2 π σ^{2}}})}^{n} \prod_{i = 1}^{n} \exp {- \frac{(x_{i} - μ)^{2}}{2 σ^{2}}} \end{aligned} \end{array}

対数をとると

\begin{array}{r} \begin{aligned} \ln L (μ, σ^{2}) & = n \ln (\frac{1}{\sqrt{2 π σ^{2}}}) + \sum_{i = 1}^{n} \ln (\exp {- \frac{(x_{i} - μ)^{2}}{2 σ^{2}}}) \\ = n \ln (2 π σ^{2})^{- 1 / 2} + \sum_{i = 1}^{n} (- \frac{(x_{i} - μ)^{2}}{2 σ^{2}} \ln e) \\ = - \frac{n}{2} \ln (2 π σ^{2}) - \sum_{i = 1}^{n} \frac{(x_{i} - μ)^{2}}{2 σ^{2}} \\ = - \frac{n}{2} \ln (2 π) - \frac{n}{2} \ln σ^{2} - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2} \end{aligned} \end{array}

（参考）対数の公式

\begin{array}{r} \begin{aligned} \log 1 & = 0 \\ \log_{e} e & = 1 \\ \log x^{a} & = a \log x \\ \log \sqrt{a} & = \log a^{1 / 2} = \frac{1}{2} \log a \\ \log a b & = \log a + \log b \\ \log \frac{a}{b} & = \log a - \log b \end{aligned} \end{array}

対数尤度を $β$ について微分した勾配を0と置いて解くと

\begin{array}{r} \begin{aligned} \nabla \ln L (y | X, β, σ) & = \frac{1}{σ^{2}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β) x_{i}^{⊤} \\ = \frac{1}{σ^{2}} (\sum_{i = 1}^{N} y_{i} x_{i}^{⊤}) - β^{⊤} \frac{1}{σ^{2}} (\sum_{i = 1}^{N} x_{i} x_{i}^{⊤}) \\ = \frac{1}{σ^{2}} (X^{⊤} y)^{⊤} - β^{⊤} \frac{1}{σ^{2}} X^{⊤} X \\ = 0 \\ \to \hat{β} & = (X^{⊤} X)^{- 1} X^{⊤} y \end{aligned} \end{array}

となり、最尤推定量と最小二乗推定量が同じ方程式になることがわかる

導出メモ

対数尤度を $β$ について微分した勾配を整理すると

\begin{array}{r} \begin{aligned} \nabla \ln L (y | X, β, σ) & = \frac{1}{σ^{2}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β) x_{i}^{⊤} \\ = \frac{1}{σ^{2}} \sum_{i = 1}^{N} y_{i} x_{i}^{⊤} - \frac{1}{σ^{2}} \sum_{i = 1}^{N} x_{i}^{⊤} β x_{i}^{⊤} \\ = \frac{1}{σ^{2}} \sum_{i = 1}^{N} y_{i} x_{i}^{⊤} - \frac{1}{σ^{2}} \sum_{i = 1}^{N} β^{⊤} x_{i} x_{i}^{⊤} \\ = \frac{1}{σ^{2}} (\sum_{i = 1}^{N} y_{i} x_{i}^{⊤}) - β^{⊤} \frac{1}{σ^{2}} (\sum_{i = 1}^{N} x_{i} x_{i}^{⊤}) \\ = \frac{1}{σ^{2}} (X^{⊤} y)^{⊤} - β^{⊤} \frac{1}{σ^{2}} X^{⊤} X \end{aligned} \end{array}

（ $\sum_{i = 1}^{N} y_{i} x_{i}^{⊤} = (X^{⊤} y)^{⊤}$ は行ベクトルで $β^{⊤} X^{⊤} X$ も行ベクトルなので演算できる）

これを0とおいて

0 = \frac{1}{σ^{2}} (X^{⊤} y)^{⊤} - β^{⊤} \frac{1}{σ^{2}} X^{⊤} X

として整理すると

β^{⊤} \frac{1}{σ^{2}} X^{⊤} X = \frac{1}{σ^{2}} (X^{⊤} y)^{⊤}

\begin{array}{r} \begin{aligned} \to β^{⊤} \frac{1}{σ^{2}} X^{⊤} X = \frac{1}{σ^{2}} (X^{⊤} y)^{⊤} \\ \to β^{⊤} (X^{⊤} X) = (X^{⊤} y)^{⊤} \\ \to β^{⊤} = (X^{⊤} X)^{- 1} (X^{⊤} y)^{⊤} \\ \to β = (X^{⊤} X)^{- 1} X^{⊤} y \end{aligned} \end{array}

（ $(X^{⊤} X)$ は対角行列なので $(X^{⊤} X)^{⊤} = (X^{⊤} X)$ ）

※内積の結果はスカラーになるので、 $x^{⊤} β = β^{⊤} x$ である

2つの行列 $A, B$ があるとき、その行ベクトル $a_{i}, b_{i}$ の外積 $a_{i} b_{i}^{⊤}$ と行列の積は一致する

A^{⊤} B = \sum_{i = 1}^{n} a_{i} b_{i}^{⊤}

ベクトル $b = (b_{1}, b_{2}, \dots, b_{n})^{⊤}$ とベクトル $a_{i} = (a_{i 1}, a_{i 2}, \dots, a_{i m})$ があるとき、スカラーの $b_{i}$ との積の和は

\begin{array}{r} \begin{aligned} \sum_{i = 1}^{n} b_{i} a_{i}^{⊤} \\ = \sum_{i = 1}^{n} (b_{i} a_{i 1}, \dots, b_{i} a_{i m}) \\ = (\begin{array}{c} b_{1} a_{11} & \dots & b_{1} a_{1 m} \\ + & + \\ ⋮ & \dots & ⋮ \\ + & + \\ b_{n} a_{n 1} & \dots & b_{n} a_{n m} \end{array}) \end{aligned} \end{array}

ベクトル $a_{i}$ を集めた行列 $A$ を考えたとき、

\begin{array}{r} A^{⊤} b = (\begin{array}{c} b_{1} a_{11} + \dots + b_{n} a_{n 1} \\ ⋮ \\ b_{1} a_{m 1} + \dots + b_{n} a_{n m} \end{array}) \end{array}

ゆえに

\sum_{i = 1}^{n} b_{i} a_{i}^{⊤} = (A^{⊤} b)^{⊤}

導出メモ

スカラーの場合、合成関数の微分より

\frac{d (y - \hat{y})^{2}}{d \hat{y}} = 2 (y - \hat{y}) \times (- 1)

の形になるがベクトルなので

\frac{\partial (y_{i} - x_{i}^{⊤} β)^{2}}{\partial β_{j}} = - 2 (y_{i} - x_{i}^{⊤} β) x_{i}^{⊤}

これを各 $j$ について計算してベクトル（勾配）とし、それを $i$ ごとに和する

\begin{array}{r} \begin{aligned} \frac{\partial \ln L (y | X, β, σ)}{\partial σ} & = \frac{\partial}{\partial σ} (- \frac{N}{2} \ln (2 π) - \frac{N}{2} \ln σ^{2} - \frac{1}{2 σ^{2}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β)^{2}) \\ = - \frac{N}{2} \frac{1}{σ^{2}} 2 σ + \frac{4 σ}{4 σ^{4}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β)^{2} \\ = - \frac{N}{σ} + \frac{1}{σ^{3}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β)^{2} \end{aligned} \end{array}

これをゼロにする $σ^{2}$ は

\begin{array}{r} \begin{aligned} - \frac{N}{σ} + \frac{1}{σ^{3}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β)^{2} = 0 \\ \to \frac{N}{σ} = \frac{1}{σ^{3}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β)^{2} \\ \to \frac{σ^{3}}{σ} = \frac{σ^{3}}{N σ^{3}} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β)^{2} \\ \to σ^{2} = \frac{1}{N} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} β)^{2} \end{aligned} \end{array}

となる

$β$ の最尤推定量 ${\hat{β}}_{M L} = (X^{⊤} X)^{- 1} X^{⊤} y$ を代入すると

\begin{array}{r} \begin{aligned} {\hat{σ}}_{M L}^{2} & = \frac{1}{N} \sum_{i = 1}^{N} (y_{i} - x_{i}^{⊤} {\hat{β}}_{M L})^{2} \\ = \frac{ε^{⊤} ε}{N} \end{aligned} \end{array}