Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

OLSの仮定

母回帰関数 （population regression function）

E(Yi∣Xi),i=1,2,…,n\mathrm{E}\left(Y_i \mid X_i\right), \quad i=1,2, \ldots, n
(1)

を推定するために、線形回帰モデル

E(Yi∣Xi)=α+βXi\mathrm{E}(Y_i \mid X_i) = \alpha+\beta X_i
(2)

を仮定する。YiY_iについての関係を表すときは、観測できない誤差を表す確率変数uiu_iを用いて

Yi=α+βXi+ui,i=1,2,…,nY_i=\alpha+\beta X_i+u_i, \quad i=1,2, \ldots, n
(3)

と表す。ここでYi,XiY_i, X_iは確率変数である。

外生性の含意

1. 線形回帰モデルの整合性

{Yi=α+βXi+uiE(ui∣Xi)=0⇒E(Yi∣Xi)=α+βXi\left\{\begin{array}{rl} Y_i & =\alpha+\beta X_i+u_i \\ \mathrm{E}\left(u_i \mid X_i\right) & =0 \end{array} \Rightarrow \mathrm{E}\left(Y_i \mid X_i\right)=\alpha+\beta X_i\right.
(5)
Yi=α+βXi+uiY_i=\alpha+\beta X_i+u_i
(6)

の両辺の条件付き期待値をとると、外生性が満たされるとき、

E(Yi∣Xi)=E(α+βXi+ui∣Xi)=α+βE(Xi∣Xi)⏟=Xi+E(ui∣Xi)⏟=0=α+βXi\begin{align} \mathrm{E}(Y_i \mid X_i) &=\mathrm{E}(\alpha+\beta X_i + u_i \mid X_i)\\ &=\alpha + \beta \underbrace{ \mathrm{E}(X_i \mid X_i) }_{=X_i} + \underbrace{\mathrm{E}\left(u_i \mid X_i\right)}_{=0}\\ &=\alpha+\beta X_i \end{align}
(7)

となり、

E(Yi∣Xi)=α+βXi\mathrm{E}(Y_i \mid X_i) = \alpha+\beta X_i
(8)

が成立し、母回帰関数を表現できる。

2. 説明変数と誤差項の直交・無相関

E(ui∣Xi)=0⇒{E(ui)=0E(Xiui)=0⇒Cov⁡(Xi,ui)=0\mathrm{E}\left(u_i \mid X_i\right)=0 \Rightarrow\left\{\begin{array}{r} \mathrm{E}\left(u_i\right)=0 \\ \mathrm{E}\left(X_i u_i\right)=0 \end{array} \Rightarrow \operatorname{Cov}\left(X_i, u_i\right)=0\right.
(9)

説明変数XiX_iが外生変数（外生性を満たす説明変数）ならば、 直交条件

E(Xiui)=EXi[E(Xiui∣Xi)]=EXi[XiE(ui∣Xi)⏟=0]=EXi(Xi⋅0)=0\mathrm{E}\left(X_i u_i\right) =\mathrm{E}_{X_i}\left[\mathrm{E}\left(X_i u_i \mid X_i\right)\right] =\mathrm{E}_{X_i}[X_i \underbrace{ \mathrm{E}\left(u_i \mid X_i\right) }_{=0}] =\mathrm{E}_{X_i}\left(X_i \cdot 0\right)=0
(10)

を満たす（確率変数の積の期待値がゼロになることを一般に 直交する という）。

また、

E(ui)=EXi[E(ui∣Xi)⏟=0]=0\mathrm{E}(u_i) = \mathrm{E}_{X_i}[ \underbrace{ \mathrm{E}(u_i|X_i)}_{=0} ] = 0
(11)

そして

Cov⁡(Xi,ui)=E(Xiui)⏟=0−E(Xi)E(ui)⏟=0=0−E(Xi)⋅0=0\operatorname{Cov}\left(X_i, u_i\right) =\underbrace{\mathrm{E}\left(X_i u_i\right)}_{=0} -\mathrm{E}\left(X_i\right) \underbrace{\mathrm{E}\left(u_i\right)}_{=0} =0-\mathrm{E}\left(X_i\right) \cdot 0=0
(12)

より、XiX_iとuiu_iは無相関になる

互いに独立な標本の含意

ある標本(Xi,Yi)(X_i, Y_i)の関数si=s(Xi,Yi)s_i = s(X_i, Y_i)を定義する。標本が互いに独立ならば、XiX_i以外の説明変数はsis_iに関して情報をもっていないため、

E[s(Xi,Yi)∣Xi]=E[s(Xi,Yi)∣X1,X2,⋯ ,Xn⏟全サンプル]\mathrm{E}\left[s\left(X_i, Y_i\right) \mid X_i\right]=\mathrm{E}[s\left(X_i, Y_i\right) \mid \underbrace{X_1,X_2, \cdots, X_n}_{\text {全サンプル}}]
(13)

特に関数を ui=s(Xi,Yi)=Yi−α−βXiu_i=s\left(X_i, Y_i\right)=Y_i-\alpha-\beta X_i と置けば、

E(ui∣Xi)=E(ui∣X1,X2,…,Xn)\mathrm{E}\left(u_i \mid X_i\right)=\mathrm{E}\left(u_i \mid X_1, X_2, \ldots, X_n\right)
(14)

となる。

2つの仮定を満たすとき、強い外生性がなりたつ

OLS推定量の不偏性

OLS推定量はOLSウェイトwiw_iにより

β^=β+∑wiui,wi=(Xi−Xˉ)∑(Xi−Xˉ)2\hat{\beta}=\beta+\sum w_i u_i, \quad w_i=\frac{\left(X_i-\bar{X}\right)}{\sum\left(X_i-\bar{X}\right)^2}
(16)

と表現できる。説明変数で条件づけた推定量の期待値は

E(β^∣X1,X2,…,Xn)=β+∑E(wiui∣X1,X2,…,Xn)=β+∑wiE(ui∣X1,X2,…,Xn⏟=0)=β\begin{aligned} \mathrm{E}\left(\hat{\beta} \mid X_1, X_2, \ldots, X_n\right) & =\beta+\sum \mathrm{E}\left(w_i u_i \mid X_1, X_2, \ldots, X_n\right) \\ & =\beta+\sum w_i \underbrace{\mathrm{E}\left(u_i \mid X_1, X_2, \ldots, X_n\right.}_{=0})=\beta \end{aligned}
(17)

となる。

繰り返し期待値の法則を適用することで

E(β^)=E[E(β^∣X1,X2,…,Xn)]=E(β)=β\mathrm{E}(\hat{\beta})=\mathrm{E}\left[\mathrm{E}\left(\hat{\beta} \mid X_1, X_2, \ldots, X_n\right)\right]=\mathrm{E}(\beta)=\beta
(18)

が得られ、OLS推定量β^\hat{\beta}は母回帰係数β\betaの不偏推定量になる。

OLS推定量の一致性

OLSウェイトによる表現

β^=β+∑wiui,wi=(Xi−Xˉ)∑(Xi−Xˉ)2\hat{\beta}=\beta+\sum w_i u_i, \quad w_i=\frac{\left(X_i-\bar{X}\right)}{\sum\left(X_i-\bar{X}\right)^2}
(19)

を書き換えると

β^=β+∑(Xi−Xˉ)(ui−uˉ)∑(Xi−Xˉ)2=β+1n−1∑(Xi−Xˉ)(ui−uˉ)1n−1∑(Xi−Xˉ)2=β+sXusX2\hat{\beta}=\beta+\frac{\sum\left(X_i-\bar{X}\right)\left(u_i-\bar{u}\right)}{\sum\left(X_i-\bar{X}\right)^2}=\beta+\frac{\frac{1}{n-1} \sum\left(X_i-\bar{X}\right)\left(u_i-\bar{u}\right)}{\frac{1}{n-1} \sum\left(X_i-\bar{X}\right)^2}=\beta+\frac{s_{X u}}{s_X^2}
(20)

nnが大きくなる場合、標本モーメントが母集団に一致する、つまり

plim⁡sXu=Cov⁡(Xi,ui),plim⁡sX2=Var⁡(Xi)\operatorname{plim} s_{X u}=\operatorname{Cov}\left(X_i, u_i\right), \quad \operatorname{plim} s_X^2=\operatorname{Var}\left(X_i\right)
(21)

のため

plim⁡β^=β+plim⁡sXuplim⁡sX2=β+Cov⁡(Xi,ui)Var⁡(Xi)=β\operatorname{plim} \hat{\beta}=\beta+\frac{\operatorname{plim} s_{X u}}{\operatorname{plim} s_X^2}=\beta+ \frac{\operatorname{Cov}\left(X_i, u_i\right)}{\operatorname{Var}\left(X_i\right)}=\beta
(22)

参考

  • 鹿野繁樹. (2015). 新しい計量経済学: データで因果関係に迫る.

計量経済学・因果推論
概要
計量経済学・因果推論
線形回帰モデルの種類