線形回帰モデルの種類 - データサイエンス関連+αのメモ

線形モデルには、

説明変数を非確率変数とする（古典）か、確率変数とする（新古典）か
誤差項は正規分布に従うと仮定する（正規線形回帰モデル）かどうか

など、モデルが置いている仮定についてバリエーションがある

古典的線形回帰モデル¶

確率変数ではない説明変数 $X$ のもとでの重回帰モデル。

Y = X \beta + u

(1)

仮定¶

説明変数 $X$ は非確率的である
$E[Y] = X \beta$ であり、したがって誤差項の期待値はゼロ： $E(u) = 0$
誤差項の分散は一定であり、共分散はゼロ： $Var(u) = \sigma^2 I$ （ $I$ は単位行列）
$X$ の階数は $k$ ： $rank(X) = k$ （ $X^TX$ に逆行列が存在することの仮定）

仮定1~4を満たすモデルを 古典的線形回帰モデル（classical linear regression model: CLRM） という。

不偏性¶

最小二乗推定量 $\hat{\beta} = (X^\top X)^{-1} X^\top y$ の期待値は

Undefined control sequence: \DeclareMathOperator at position 1: \̲D̲e̲c̲l̲a̲r̲e̲M̲a̲t̲h̲O̲p̲e̲r̲a̲t̲o̲r̲{\E}{\mathrm{E}…

\DeclareMathOperator{\E}{\mathrm{E}}
\DeclareMathOperator{\var}{\mathrm{Var}}
\DeclareMathOperator{\cov}{\mathrm{Cov}}
\DeclareMathOperator{\rank}{\mathrm{rank}}
\begin{align}
\E[\hat{\beta}]
&= \E[(X^\top X)^{-1} X^\top y]\\
&= \E[(X^\top X)^{-1} X^\top (X\beta + u)]\\
&= \E[(X^\top X)^{-1} X^\top X \beta] + \E[(X^\top X)^{-1} X^\top u]\\
&= \E[\beta] + (X^\top X)^{-1} X^\top \E[u]\\
&= \beta + (X^\top X)^{-1} X^\top \E[u] \quad (\because \beta \text{ は定数のため } E[\beta] = \beta )\\
&= \beta \quad (\because \text{仮定より} E[u] = 0)\\
\end{align}

となる。\E[u] = 0であれば\E[\hat{\beta}] = \betaとなり、 $\hat{\beta}$ は $\beta$ の不偏推定量であることがわかる

古典的正規線形回帰モデル¶

古典的線形回帰モデルの仮定に加えて、誤差項の正規性も仮定するモデルを 古典的正規線形回帰モデル（classical normal linear regression model: CNLRM） という。

仮定¶

説明変数 $X$ は非確率的である
$E[Y] = X \beta$ であり、したがって誤差項の期待値はゼロ： $E(u) = 0$
誤差項の分散は一定であり、共分散はゼロ： $Var(u) = \sigma^2 I$ （ $I$ は単位行列）
$X$ の階数は $k$ ： $rank(X) = k$ （ $X^TX$ に逆行列が存在することの仮定）
$Y$ は正規分布に従う（正規性）： $Y \sim N(X\beta, \sigma^2 I), u \sim N(0, \sigma^2 I)$

パラメータの推定¶

古典的正規線形回帰モデルは分布型を仮定しているため、尤度 $\sum \mathcal{N}(y|X, \beta, \sigma)$ を用いて最尤推定量を導出できる（最尤推定量も正規方程式に帰結し、OLS推定量と同じものになる）

$n$ 個のサンプルの対数尤度は

\begin{align} \ln L(y| X, \beta, \sigma) &= \sum^N_{i=1} \ln \mathcal{N}(y_i| x_i^\top \beta, \sigma^2) \\ &= - \frac{N}{2} \ln (2\pi) - \frac{N}{2} \ln \sigma^2 - \frac{1}{2\sigma^2} \sum^N_{i=1} (y_i - x_i^\top \beta)^2 \end{align}

(3)

なので

Undefined control sequence: \DeclareMathOperator at position 1: \̲D̲e̲c̲l̲a̲r̲e̲M̲a̲t̲h̲O̲p̲e̲r̲a̲t̲o̲r̲*{\argmax}{arg …

\DeclareMathOperator*{\argmax}{arg max}
\begin{align}
\hat{\beta}_{ML}
&= \argmax_{\beta} \sum^N_{i=1} (y_i - x_i^\top \beta)^2\\
&= (X^\top X)^{-1} X^\top y\\
\\
\hat{\sigma}_{ML}
&= \argmax_{\sigma} \
\left(
  - \frac{N}{2} \ln \sigma^2
  - \frac{1}{2\sigma^2} \sum^N_{i=1} (y_i - x_i^\top \beta)^2
\right)\\
&= \sqrt{ \frac{1}{N} \sum^N_{i=1} (y_i - x_i^\top \hat{\beta}_{ML})^2 }
\end{align}

一般化古典的回帰モデル¶

古典的回帰モデルから3.の誤差項の均一分散性・独立性\var(u)=\sigma^2 Iの仮定を緩めたモデルは 一般化古典的回帰モデル（Generalized Classical Regression Model: GCRM）と呼ばれる。

不均一分散のとき、OLS推定量は不偏性をもつものの最小分散性はもたない。そのため加重最小二乗法（WLS）や一般化最小二乗法（GLS）を使ってBLUEな推定量を求めるアプローチが存在する。

OLSでも不偏なので悪い方法ではない。ただし、標準誤差の推定にバイアスが入るため、検定や区間推定をする場合はロバスト標準誤差を使用する必要がある。

新古典的回帰モデル¶

古典的回帰モデルから1.の「説明変数は非確率的である」という条件を緩和したモデルを**新古典的回帰モデル（Neo-Classical Regression Model: NCRM）**と呼ぶ。

説明変数 $X$ が確率変数でも、 $Y$ の条件付き分布について以下の仮定が満たされるなら、ガウス・マルコフの定理は成立し、OLS推定量はBLUEになる

仮定¶

$X$ は確率的
E[Y|X]=X\beta, \quad \E[u|X]=0
\var(u|X)=\sigma^2 I
$X$ の階数は $k$ ：\rank(X) = k（ $X^TX$ に逆行列が存在することの仮定）

不偏性¶

$X$ が確率変数でも、条件付き期待値\E[\cdot |X]を用いることで不偏性を確かめられる。

Undefined control sequence: \E at position 15: \begin{align}
\̲E̲[\hat{\beta} | …

\begin{align}
\E[\hat{\beta} | X]
&= \E[\beta | X] + (X^\top X)^{-1} X^\top \underbrace{ \E[u | X] }_{=0}\\
&= \E[\beta | X]
\end{align}

$X$ について期待値を取ると、

Undefined control sequence: \E at position 1: \̲E̲_X(\E[\hat{\bet…

\E_X(\E[\hat{\beta} | X]) = \E_X(\E[\beta | X])

は繰り返し期待値の法則により

Undefined control sequence: \E at position 1: \̲E̲[\hat{\beta}] =…

\E[\hat{\beta}] = \beta

となる。

まとめ¶

モデル	仮定	OLS推定量の性質
古典的正規回帰モデル（Classical Normal Regression Model: CNRM）	1. 非確率的な説明変数 2. 誤差項の期待値がゼロ 3. 均一分散・独立 4. $X^T X$ が正則 5. 正規性	不偏・最小分散
古典的回帰モデル（classical regression model: CRM）	1. 非確率的な説明変数 2. 誤差項の期待値がゼロ 3. 均一分散・独立 4. $X^T X$ が正則	不偏・最小分散
一般化古典的回帰モデル（Generalized Classical Regression Model: GCRM）	1. 非確率的な説明変数 2. 誤差項の期待値がゼロ 4. $X^T X$ が正則	不偏
新古典的回帰モデル（Neo-Classical Regression Model: NCRM）	2’. 外生性$E(\varepsilon	X)=0 $<br />3. 均一分散・独立<br />4.$ X^T X$が正則

参考文献¶

浅野晳, & 中村二朗. (2009). 計量経済学.