誤差項と残差の違い#

誤差項は母集団レベル、残差は標本レベルの話#

  • 誤差は、母回帰関数の線形回帰モデルYi=β0+β1Xi+uiの誤差項ui

  • 残差は、標本から推定した線形回帰モデルYi=β^0+β^1Xi+eiの残差ei

「誤差」と、この章で出てきた「残差」は似ているように見えますが、異なる意味を持ちます。「誤差」は求めようとする真の回帰式から算出される値と実際のデータとの差を表します。真の回帰式はあくまでも理論的なものであるため、誤差を計算で求めることはできません。一方の「残差」は実際のデータを用いて推定された回帰式から算出される値と実際のデータとの差を表します。誤差とは異なり残差は計算で求められます。

27-4. 予測値と残差 | 統計学の時間 | 統計WEB

標本の残差は説明変数に直交する#

線形回帰モデル

Y=Xβ+u

を想定する。ここでuは誤差項(母集団レベルでの残差)である。

OLS推定量β^を用いて得た(標本レベルの)残差u^=yXβ^には以下の関係がある。

u^=yXβ=yX(XTX)1XTy=[IX(XTX)1XT]y=My

ここで

M=IX(XTX)1XTy

であり、M

  1. 対称MT=M

  2. 冪等M2=M

という性質をもつ(このように対称で冪等な行列を 直交射影行列 という。参考

MXと直交しており、MX=O=XTMである。そのためu^=Myy=Xβ+uを代入すると

u^=M(Xβ+u)=MX=Oβ+Mu=Mu

であるため、

XTu^=XTMu=0

となる。

モデルに定数項がある、つまりXのうちすべての要素が1となっている列jがある場合、0j番目の要素はi=1nxiju^i=i=1nu^i、つまり残差の和は0ということになる。

j列目の説明変数Xjと残差u^の共分散Cov(Xj,u^)=E[Xju^]E[Xj]E[u^]の標本対応は

Cov^(Xj,u^)=1ni=1nXiju^i(1ni=1nXij)(1ni=1nu^i)

i=1nu^i=0であり、i=1nXiju^i=0なので、共分散はゼロになる

→ 推定量を用いた標本レベルでの残差から説明変数の外生性を確認することはできない