OLSの仮定

OLSの仮定#

母回帰関数 （population regression function）

E (Y_{i} ∣ X_{i}), i = 1, 2, \dots, n

を推定するために、線形回帰モデル

E (Y_{i} ∣ X_{i}) = α + β X_{i}

を仮定する。 $Y_{i}$ についての関係を表すときは、観測できない誤差を表す確率変数 $u_{i}$ を用いて

Y_{i} = α + β X_{i} + u_{i}, i = 1, 2, \dots, n

と表す。ここで $Y_{i}, X_{i}$ は確率変数である。

OLSの根源的仮定

次の条件を満たすとき、OLS推定量

\hat{α} = \bar{Y} - \hat{β} \bar{X}, \hat{β} = \frac{S_{X Y}}{S_{X X}}

が $α, β$ の不偏推定量・一致推定量となる。

外生性： $E (u_{i} ∣ X_{i}) = 0$
独立な標本：異なる観測 $(X_{i}, Y_{i})$ と $(X_{j}, Y_{j})$ は互いに独立

外生性の含意#

1. 線形回帰モデルの整合性#

\begin{array}{r} {\begin{aligned} Y_{i} & = α + β X_{i} + u_{i} \\ E (u_{i} ∣ X_{i}) & = 0 \end{aligned} \Rightarrow E (Y_{i} ∣ X_{i}) = α + β X_{i} \end{array}

Y_{i} = α + β X_{i} + u_{i}

の両辺の条件付き期待値をとると、外生性が満たされるとき、

\begin{array}{r} \begin{aligned} E (Y_{i} ∣ X_{i}) & = E (α + β X_{i} + u_{i} ∣ X_{i}) \\ = α + β \underset{= X_{i}}{\underset{⏟}{E (X_{i} ∣ X_{i})}} + \underset{= 0}{\underset{⏟}{E (u_{i} ∣ X_{i})}} \\ = α + β X_{i} \end{aligned} \end{array}

となり、

E (Y_{i} ∣ X_{i}) = α + β X_{i}

が成立し、母回帰関数を表現できる。

2. 説明変数と誤差項の直交・無相関#

\begin{array}{r} E (u_{i} ∣ X_{i}) = 0 \Rightarrow {\begin{matrix} E (u_{i}) = 0 \\ E (X_{i} u_{i}) = 0 \end{matrix} \Rightarrow Cov (X_{i}, u_{i}) = 0 \end{array}

説明変数 $X_{i}$ が外生変数（外生性を満たす説明変数）ならば、 直交条件

E (X_{i} u_{i}) = E_{X_{i}} [E (X_{i} u_{i} ∣ X_{i})] = E_{X_{i}} [X_{i} \underset{= 0}{\underset{⏟}{E (u_{i} ∣ X_{i})}}] = E_{X_{i}} (X_{i} \cdot 0) = 0

を満たす（確率変数の積の期待値がゼロになることを一般に 直交する という）。

また、

E (u_{i}) = E_{X_{i}} [\underset{= 0}{\underset{⏟}{E (u_{i} | X_{i})}}] = 0

そして

Cov (X_{i}, u_{i}) = \underset{= 0}{\underset{⏟}{E (X_{i} u_{i})}} - E (X_{i}) \underset{= 0}{\underset{⏟}{E (u_{i})}} = 0 - E (X_{i}) \cdot 0 = 0

より、 $X_{i}$ と $u_{i}$ は無相関になる

互いに独立な標本の含意#

ある標本 $(X_{i}, Y_{i})$ の関数 $s_{i} = s (X_{i}, Y_{i})$ を定義する。標本が互いに独立ならば、 $X_{i}$ 以外の説明変数は $s_{i}$ に関して情報をもっていないため、

E [s (X_{i}, Y_{i}) ∣ X_{i}] = E [s (X_{i}, Y_{i}) ∣ \underset{全サンプル}{\underset{⏟}{X_{1}, X_{2}, \dots, X_{n}}}]

特に関数を $u_{i} = s (X_{i}, Y_{i}) = Y_{i} - α - β X_{i}$ と置けば、

E (u_{i} ∣ X_{i}) = E (u_{i} ∣ X_{1}, X_{2}, \dots, X_{n})

となる。

2つの仮定を満たすとき、強い外生性がなりたつ

強い外生性

外生性： $E (u_{i} ∣ X_{i}) = 0$
独立な標本：異なる観測 $(X_{i}, Y_{i})$ と $(X_{j}, Y_{j})$ は互いに独立

を満たすとき、

E (u_{i} ∣ X_{1}, X_{2}, \dots, X_{n}) = 0, i = 1, 2, \dots, n

が成立する。この条件を 強い外生性 （strong exogeneity）とよぶ。

OLS推定量の不偏性#

OLS推定量はOLSウェイト $w_{i}$ により

\hat{β} = β + \sum w_{i} u_{i}, w_{i} = \frac{(X_{i} - \bar{X})}{\sum {(X_{i} - \bar{X})}^{2}}

と表現できる。説明変数で条件づけた推定量の期待値は

\begin{array}{r} \begin{aligned} E (\hat{β} ∣ X_{1}, X_{2}, \dots, X_{n}) & = β + \sum E (w_{i} u_{i} ∣ X_{1}, X_{2}, \dots, X_{n}) \\ = β + \sum w_{i} \underset{= 0}{\underset{⏟}{E (u_{i} ∣ X_{1}, X_{2}, \dots, X_{n}}}) = β \end{aligned} \end{array}

となる。

繰り返し期待値の法則を適用することで

E (\hat{β}) = E [E (\hat{β} ∣ X_{1}, X_{2}, \dots, X_{n})] = E (β) = β

が得られ、OLS推定量 $\hat{β}$ は母回帰係数 $β$ の不偏推定量になる。

OLS推定量の一致性#

OLSウェイトによる表現

\hat{β} = β + \sum w_{i} u_{i}, w_{i} = \frac{(X_{i} - \bar{X})}{\sum {(X_{i} - \bar{X})}^{2}}

を書き換えると

\hat{β} = β + \frac{\sum (X_{i} - \bar{X}) (u_{i} - \bar{u})}{\sum {(X_{i} - \bar{X})}^{2}} = β + \frac{\frac{1}{n - 1} \sum (X_{i} - \bar{X}) (u_{i} - \bar{u})}{\frac{1}{n - 1} \sum {(X_{i} - \bar{X})}^{2}} = β + \frac{s_{X u}}{s_{X}^{2}}

$n$ が大きくなる場合、標本モーメントが母集団に一致する、つまり

plim s_{X u} = Cov (X_{i}, u_{i}), plim s_{X}^{2} = Var (X_{i})

のため

plim \hat{β} = β + \frac{plim s_{X u}}{plim s_{X}^{2}} = β + \frac{Cov (X_{i}, u_{i})}{Var (X_{i})} = β

参考#

鹿野繁樹. (2015). 新しい計量経済学: データで因果関係に迫る.