OLSの仮定
母回帰関数 （population regression function）
\[
\mathrm{E}\left(Y_i \mid X_i\right), \quad i=1,2, \ldots, n
\]
を推定するために、線形回帰モデル
\[
\mathrm{E}(Y_i \mid X_i) = \alpha+\beta X_i
\]
を仮定する。\(Y_i\)についての関係を表すときは、観測できない誤差を表す確率変数\(u_i\)を用いて
\[
Y_i=\alpha+\beta X_i+u_i, \quad i=1,2, \ldots, n
\]
と表す。ここで\(Y_i, X_i\)は確率変数である。
OLSの根源的仮定
次の条件を満たすとき、OLS推定量
\[
\hat{\alpha}=\bar{Y}-\hat{\beta} \bar{X}, \quad \hat{\beta}=\frac{S_{X Y}}{S_{X X}}
\]
が\(\alpha, \beta\)の不偏推定量・一致推定量となる。
外生性：\(\mathrm{E}\left(u_i \mid X_i\right)=0\)
独立な標本：異なる観測 \((X_i, Y_i)\) と \((X_j, Y_j)\) は互いに独立
外生性の含意
1. 線形回帰モデルの整合性
\[\begin{split}
\left\{\begin{array}{rl}
Y_i & =\alpha+\beta X_i+u_i \\
\mathrm{E}\left(u_i \mid X_i\right) & =0
\end{array} \Rightarrow \mathrm{E}\left(Y_i \mid X_i\right)=\alpha+\beta X_i\right.
\end{split}\]
\[
Y_i=\alpha+\beta X_i+u_i
\]
の両辺の条件付き期待値をとると、外生性が満たされるとき、
\[\begin{split}
\begin{align}
\mathrm{E}(Y_i \mid X_i)
&=\mathrm{E}(\alpha+\beta X_i + u_i \mid X_i)\\
&=\alpha + \beta \underbrace{ \mathrm{E}(X_i \mid X_i) }_{=X_i}
+ \underbrace{\mathrm{E}\left(u_i \mid X_i\right)}_{=0}\\
&=\alpha+\beta X_i
\end{align}
\end{split}\]
となり、
\[
\mathrm{E}(Y_i \mid X_i) = \alpha+\beta X_i
\]
が成立し、母回帰関数を表現できる。
2. 説明変数と誤差項の直交・無相関
\[\begin{split}
\mathrm{E}\left(u_i \mid X_i\right)=0 \Rightarrow\left\{\begin{array}{r}
\mathrm{E}\left(u_i\right)=0 \\
\mathrm{E}\left(X_i u_i\right)=0
\end{array} \Rightarrow \operatorname{Cov}\left(X_i, u_i\right)=0\right.
\end{split}\]
説明変数\(X_i\)が外生変数（外生性を満たす説明変数）ならば、 直交条件
\[
\mathrm{E}\left(X_i u_i\right)
=\mathrm{E}_{X_i}\left[\mathrm{E}\left(X_i u_i \mid X_i\right)\right]
=\mathrm{E}_{X_i}[X_i \underbrace{ \mathrm{E}\left(u_i \mid X_i\right) }_{=0}]
=\mathrm{E}_{X_i}\left(X_i \cdot 0\right)=0
\]
を満たす（確率変数の積の期待値がゼロになることを一般に 直交する という）。
また、
\[
\mathrm{E}(u_i) = \mathrm{E}_{X_i}[ \underbrace{ \mathrm{E}(u_i|X_i)}_{=0} ] = 0
\]
そして
\[
\operatorname{Cov}\left(X_i, u_i\right)
=\underbrace{\mathrm{E}\left(X_i u_i\right)}_{=0}
-\mathrm{E}\left(X_i\right) \underbrace{\mathrm{E}\left(u_i\right)}_{=0}
=0-\mathrm{E}\left(X_i\right) \cdot 0=0
\]
より、\(X_i\)と\(u_i\)は無相関になる
互いに独立な標本の含意
ある標本\((X_i, Y_i)\)の関数\(s_i = s(X_i, Y_i)\)を定義する。標本が互いに独立ならば、\(X_i\)以外の説明変数は\(s_i\)に関して情報をもっていないため、
\[
\mathrm{E}\left[s\left(X_i, Y_i\right) \mid X_i\right]=\mathrm{E}[s\left(X_i, Y_i\right) \mid \underbrace{X_1,X_2, \cdots, X_n}_{\text {全サンプル}}]
\]
特に関数を \(u_i=s\left(X_i, Y_i\right)=Y_i-\alpha-\beta X_i\) と置けば、
\[
\mathrm{E}\left(u_i \mid X_i\right)=\mathrm{E}\left(u_i \mid X_1, X_2, \ldots, X_n\right)
\]
となる。
2つの仮定を満たすとき、強い外生性がなりたつ
強い外生性
外生性：\(\mathrm{E}\left(u_i \mid X_i\right)=0\)
独立な標本：異なる観測 \((X_i, Y_i)\) と \((X_j, Y_j)\) は互いに独立
を満たすとき、
\[
\mathrm{E}\left(u_i \mid X_1, X_2, \ldots, X_n\right)=0, \quad i=1,2, \ldots, n
\]
が成立する。この条件を 強い外生性 （strong exogeneity）とよぶ。
OLS推定量の不偏性
OLS推定量はOLSウェイト\(w_i\)により
\[
\hat{\beta}=\beta+\sum w_i u_i, \quad w_i=\frac{\left(X_i-\bar{X}\right)}{\sum\left(X_i-\bar{X}\right)^2}
\]
と表現できる。説明変数で条件づけた推定量の期待値は
\[\begin{split}
\begin{aligned}
\mathrm{E}\left(\hat{\beta} \mid X_1, X_2, \ldots, X_n\right) & =\beta+\sum \mathrm{E}\left(w_i u_i \mid X_1, X_2, \ldots, X_n\right) \\
& =\beta+\sum w_i \underbrace{\mathrm{E}\left(u_i \mid X_1, X_2, \ldots, X_n\right.}_{=0})=\beta
\end{aligned}
\end{split}\]
となる。
繰り返し期待値の法則を適用することで
\[
\mathrm{E}(\hat{\beta})=\mathrm{E}\left[\mathrm{E}\left(\hat{\beta} \mid X_1, X_2, \ldots, X_n\right)\right]=\mathrm{E}(\beta)=\beta
\]
が得られ、OLS推定量\(\hat{\beta}\)は母回帰係数\(\beta\)の不偏推定量になる。
OLS推定量の一致性
OLSウェイトによる表現
\[
\hat{\beta}=\beta+\sum w_i u_i, \quad w_i=\frac{\left(X_i-\bar{X}\right)}{\sum\left(X_i-\bar{X}\right)^2}
\]
を書き換えると
\[
\hat{\beta}=\beta+\frac{\sum\left(X_i-\bar{X}\right)\left(u_i-\bar{u}\right)}{\sum\left(X_i-\bar{X}\right)^2}=\beta+\frac{\frac{1}{n-1} \sum\left(X_i-\bar{X}\right)\left(u_i-\bar{u}\right)}{\frac{1}{n-1} \sum\left(X_i-\bar{X}\right)^2}=\beta+\frac{s_{X u}}{s_X^2}
\]
\(n\)が大きくなる場合、標本モーメントが母集団に一致する、つまり
\[
\operatorname{plim} s_{X u}=\operatorname{Cov}\left(X_i, u_i\right), \quad \operatorname{plim} s_X^2=\operatorname{Var}\left(X_i\right)
\]
のため
\[
\operatorname{plim} \hat{\beta}=\beta+\frac{\operatorname{plim} s_{X u}}{\operatorname{plim} s_X^2}=\beta+
\frac{\operatorname{Cov}\left(X_i, u_i\right)}{\operatorname{Var}\left(X_i\right)}=\beta
\]