誤差項と残差の違い#
誤差項は母集団レベル、残差は標本レベルの話#
誤差は、母回帰関数の線形回帰モデル
の誤差項残差は、標本から推定した線形回帰モデル
の残差
「誤差」と、この章で出てきた「残差」は似ているように見えますが、異なる意味を持ちます。「誤差」は求めようとする真の回帰式から算出される値と実際のデータとの差を表します。真の回帰式はあくまでも理論的なものであるため、誤差を計算で求めることはできません。一方の「残差」は実際のデータを用いて推定された回帰式から算出される値と実際のデータとの差を表します。誤差とは異なり残差は計算で求められます。
標本の残差は説明変数に直交する#
線形回帰モデル
を想定する。ここで
OLS推定量
ここで
であり、
対称
冪等
という性質をもつ(このように対称で冪等な行列を 直交射影行列 という。参考)
であるため、
となる。
モデルに定数項がある、つまり
→ 推定量を用いた標本レベルでの残差から説明変数の外生性を確認することはできない