欠落変数バイアス

欠落変数バイアス#

結果変数 $Y$ 、処置変数 $D$ と、 $Y, D$ に影響を与える共変量（交絡因子） $X$ があるとし、各変数の間には線形の関係があるとする。

処置の効果を正しく推定するためには共変量をモデルに含める必要があるため、正しいモデルは次の式の形になる（「長いモデル」ということでLとつけている）。

Y = α^{L} + β^{L} D + γ^{L} X + ε^{L}

ここで $X$ を説明変数に入れない「短いモデル」

Y = α^{S} + β^{S} D + ε^{S}

を構築した場合、処置効果 $β^{S}$ はどう推定されるのだろうか。

XをDに回帰する（Xの変動をDで説明する）モデルを立ててみる。

X = α + β D + ε

これを「長いモデル」に代入して整理すると、「短いモデル」との対応が見えてくる

\begin{array}{r} \begin{aligned} Y & = α^{L} + β^{L} D + γ^{L} (α + β D + ε) + ε^{L} \\ = α^{L} + γ^{L} α + (β^{L} + γ^{L} β) D + γ^{L} ε + ε^{L} \\ = \underset{α^{S}}{\underset{⏟}{α^{L} + γ^{L} α}} + \underset{β^{S}}{\underset{⏟}{(β^{L} + γ^{L} β)}} D + \underset{ε^{S}}{\underset{⏟}{γ^{L} ε + ε^{L}}} \end{aligned} \end{array}

「短いモデル」の $β^{S}$ は

β^{S} = β^{L} + γ^{L} β

であるため、正しいモデルの推定量 $β^{L}$ から $γ^{L} β$ の分だけズレることがわかる。

生成データで実験#

実際に回帰分析を行ってみる。乱数で生成する。

真の係数：α_L=3, β_L=5, γ_L=7

	Y	D	X
0	12.968330	1	0.548814
1	11.926394	1	0.715189
2	11.071875	1	0.602763
3	11.376362	1	0.544883
4	5.467551	0	0.423655

../../_images/4eacff3bb9373da7ce91c973a17b0fbc579958b1727662352bbe084639b883a3.png

このデータからそれぞれのモデルを推定すると次のようになる。

# long model
results = smf.ols('Y ~ D + X', data=df).fit()
alpha_L_, beta_L_, gamma_L_ = results.params
print(f"「長いモデル」の推定値：α_L={alpha_L_:.2f}, β_L={beta_L_:.2f}, γ_L={gamma_L_:.2f}")

# short model
results = smf.ols('Y ~ D', data=df).fit()
alpha_S_, beta_S_ = results.params
print(f"「短いモデル」の推定値：α_S={alpha_S_:.2f}, β_S={beta_S_:.2f}")

# X ~ D
results = smf.ols('X ~ D', data=df).fit()
alpha_, beta_ = results.params
print(f"XをDに回帰したモデルの推定値：α={alpha_:.2f}, β={beta_:.3f}")

「長いモデル」の推定値：α_L=3.16, β_L=5.04, γ_L=6.43
「短いモデル」の推定値：α_S=5.32, β_S=7.14
XをDに回帰したモデルの推定値：α=0.34, β=0.327

3つのモデルの関係性は

Y = \underset{α^{S}}{\underset{⏟}{α^{L} + γ^{L} α}} + \underset{β^{S}}{\underset{⏟}{(β^{L} + γ^{L} β)}} D + \underset{ε^{S}}{\underset{⏟}{γ^{L} ε + ε^{L}}}

だったので、推定値で同様に計算すると

estimated_alpha_S = (alpha_L_ + gamma_L_ * alpha_)
estimated_beta_S = (beta_L_ + gamma_L_ * beta_)
bias_beta_S = gamma_L_ * beta_

print(f"""
α_Sの推定値 = {estimated_alpha_S:.2f}
β_Sの推定値 = {estimated_beta_S:.2f}
β_Lとの差（欠落変数バイアス） = {bias_beta_S:.2f}
""")

α_Sの推定値 = 5.32
β_Sの推定値 = 7.14
β_Lとの差（欠落変数バイアス） = 2.10

となり、「短いモデル」の推定値と同じものが得られた。また、「長いモデル」と比べたときの差（バイアス）も得られた

誤差項との関係#

ε^{S} = γ^{L} ε + ε^{L}

「短いモデル」の誤差項は説明変数と相関がある

residuals_L = Y - smf.ols('Y ~ D + X', data=df).fit().predict(df)

fig, ax = plt.subplots(figsize=[8, 3], ncols=2, dpi=72)
ax[0].scatter(X, residuals_L)
ax[0].set(xlabel="X", ylabel="residual")

ax[1].scatter(D, residuals_L, alpha=.5)
ax[1].set(xlabel="D", ylabel="residual")

fig.suptitle("Residuals of the long model")
fig.show()

../../_images/1a26975d4047bfc590dedcf10d601618a8c20806e30b81a63dba555831a4cc3a.png

residuals_S = Y - smf.ols('Y ~ D', data=df).fit().predict(df)

fig, ax = plt.subplots(figsize=[8, 3], ncols=2, dpi=72)
ax[0].scatter(X, residuals_S)
ax[0].set(xlabel="X", ylabel="residual")

ax[1].scatter(D, residuals_S, alpha=.5)
ax[1].set(xlabel="D", ylabel="residual")

fig.suptitle("Residuals of the short model")
fig.show()

../../_images/1ec49d805839c75b0190186ee9dbf204af220f0079dc57f7e710ec5145308cf5.png

外生性#

このことについては外生性・内生性といった言い方もされる。

次の単回帰モデルを考える。

Y_{i} = α + β X_{i} + ε_{i}, i = 1, 2, \dots, n

説明変数 $X_{i}$ と誤差項 $ε_{i}$ が相関しないとき、説明変数 $X_{i}$ が外生性（exogeneity）をもつと言われる。またこのような変数は外生変数（exogenous variable）と呼ばれる。

そうでないとき、説明変数 $X_{i}$ は内生性（endogeneity）をもつという。

モデルの式の両辺の期待値をとって $α$ について解くと $α = E [Y_{i}] - β E [X_{i}]$ であり、これを代入すると

Y_{i} - E [Y_{i}] = β (X_{i} - E [X_{i}]) + ε_{i}

と書き換えることができる。両辺に $X$ を乗じて期待値をとると

\begin{array}{r} \underset{= E [X_{i} Y_{i}] - E [X_{i}] E [Y_{i}] = C o v (X_{i}, Y_{i})}{\underset{⏟}{E [X_{i} (Y_{i} - E [Y_{i}])]}} = β \underset{= E [X_{i}^{2}] - E [X_{i}]^{2} = V a r (X_{i})}{\underset{⏟}{E [X_{i} (X_{i} - E [X_{i}])]}} + \underset{= C o v (X_{i}, ε_{i}) = 0}{\underset{⏟}{E [X_{i} ε_{i}]}} \end{array}

移項するとOLS推定量が得られる

β = \frac{C o v (X_{i}, Y_{i})}{V a r (X_{i})}

もし $E [X_{i} ε_{i}] = C o v (X_{i}, ε_{i}) \neq 0$ であれば、

\frac{C o v (X_{i}, Y_{i})}{V a r (X_{i})} = β + \frac{C o v (X_{i}, ε_{i})}{V a r (X_{i})}

となり、 $C o v (X_{i}, ε_{i}) / V a r (X_{i})$ の分だけバイアスのある推定量になる

参考文献#

25. 重回帰分析（脱落変数バイアス・処置後変数バイアス）
安井翔太. (2020). 効果検証入門: 正しい比較のための因果推論計量経済学の基礎. Gijutsu hyōronsha.
星野匡郎, 田中久稔, & 北川梨津. (2023). R による実証分析: 回帰分析から因果分析へ. 株式会社オーム社.