ルービンの因果モデル - データサイエンス関連+αのメモ

ルービンの因果モデル（rubin causal model）は潜在的結果と割当のメカニズムに着目して因果推論を検討するアプローチ（Rubin 1974, Holland 1986）。

用語¶

潜在的結果¶

ある個体が「介入を受けた場合」と「介入を受けなかった場合」の結果を、実際に介入があったかどうかに関わらず定めたものを潜在的結果（potential outcome）という。

対照群（control group）：介入を受けなかった（ $D=0$ の）場合
処置群（treatment group）：介入を受けた（ $D=1$ の）場合
個体 $i$ が介入を受けなかった時の潜在的結果： $Y_i(0)$
個体 $i$ が介入を受けた時の潜在的結果： $Y_i(1)$

実際の観察結果は $Y_i$ とする

Y_i = \left\{ \begin{array}{l} Y_i(0) \ \text{if } D_i = 0 \\ Y_i(1) \ \text{if } D_i=1 \end{array} \right.

(1)

次のように書くこともできる

Y_i = Y_i(D_i) = Y_i(0)(1-D_i) + Y_i(1)D

(2)

因果効果¶

因果の定義の仕方はいろいろあるが、ルービン因果モデルにおいては「ある個体が介入 $D$ を受けた場合に、受けなかった場合の結果 $Y$ と比べた結果 $Y_1$ の差 $Y_1 - Y_0$ 」を「 $D$ の因果効果（causal effect）」とする。なお、因果効果と同様の意味で処置効果（treatment effect）という言葉も使われる。

個体 $i$ の因果効果（個体処置効果 individual treatment effect: ITE）は

\tau_i = Y_i(1)-Y_i(0)

(3)

となる。

ただし、実際には実行された処置についての結果しか観測することができないため、 $\tau_i$ は観測することはできない。このことは因果推論の根本問題と呼ばれる。

平均処置効果¶

ITEの推定は難しいため、通常は平均での処置効果を推定することを考える

\tau = E[Y(1) - Y(0)] = E[Y(1)] - E[Y(0)]

(4)

これを平均処置効果（average treatment effect: ATE）という。平均因果効果（average causal effect: ACE）という呼び方や、母集団レベルの議論であることを明示した母集団平均処置効果（population average treatment effect: PATE）という呼び方も存在する。

ATEの推定¶

ナイーブな推定量¶

素朴に思いつく推定方法は、観測できた各群の結果の平均値の差

\frac{1}{N_1} \sum^{N_1}_{i: D_i = 1} y_i - \frac{1}{N_0} \sum^{N_0}_{i: D_i = 0} y_i

(5)

を使って推定するアプローチであろう。これは潜在的結果を使って表すと

\tau_{naive} = E[Y(1)|D = 1] - E[Y(0)|D = 0]

(6)

となり、ATEとは異なる。仮にこれをナイーブな推定量と呼ぶことにして、 $\tau_{naive}$ と表す。これは $E[Y(0)|D = 1]$ を足して引くと

\begin{align} \tau_{naive} &= E[Y(1)|D = 1] - E[Y(0)|D = 0]\\ &= E[Y(1)|D = 1] - E[Y(0)|D = 1] + E[Y(0)|D = 1] - E[Y(0)|D = 0]\\ &= \underbrace{E[Y(1) - Y(0)|D = 1]}_{\text{ATT}} + \underbrace{E[Y(0)|D = 1] - E[Y(0)|D = 0]}_{\text{Selection Bias}}\\ \end{align}

(7)

と表すことができる。

第1項の $E[Y(1) - Y(0)|D = 1]$ は処置群における「処置を受けたときの結果 $Y(0)$ 」と「処置を受けなかった場合の（反実仮想の）結果 $Y(0)$ 」の差である。これを処置群に対する平均処置効果（average treatment effect on the treated: ATT or ATET）という。

処置群と対照群で平均的に処置効果に差がないと仮定すれば

\begin{align} \underbrace{E[Y(1) - Y(0)]}_{ATE} &= E[Y(1) - Y(0) | D = 1] P(D = 1) + E[Y(1) - Y(0)| D = 0] P(D = 0)\\ &= E[Y(1) - Y(0) | D = 1] \{ P(D = 1) + P(D = 0) \}\\ &= \underbrace{E[Y(1) - Y(0)|D = 1]}_{ATT} \end{align}

(8)

となる。

第2項の $E[Y(0)|D = 1] - E[Y(0)|D = 0]$ は、「処置群が仮に処置を受けなかったとした場合の結果の期待値」と「対照群が処置を受けなかった場合の期待値」の差であり、セレクション・バイアス（selection bias）と呼ばれる。もしセレクション・バイアスが0であれば $\tau_{naive} = ATT$ であり、さらに $ATT=ATE$ であれば $\tau_{naive}= ATE = \tau$ になる。そうでない場合は $\tau_{naive} \neq \tau$ であり、単純な各群の期待値の差をとる方法は誤った分析結果を導くことになる。

もう少し厳密な話

ATT = ATEの仮定を置かずに厳密に書くと

\begin{align} \underbrace{ E[Y(1)|D = 1] - E[Y(0)|D = 0] }_{ \tau_{naive} } &= \underbrace{E[Y(1)] - E[Y(0)]}_{ \text{ATE}} + \underbrace{E[Y(0)| D=1] - E[Y(0)| D=0]}_{ \text{Selection bias}} \\ & + \underbrace{(1-\pi)(ATT - ATU)}_{ \text{Heterogeneous treatment effect bias}} \end{align}

(9)

となるらしい。ここで $\pi$ は処置を受ける割合であり、ATUは対照群における平均処置効果である。

また、

ATE = \pi ATT+(1-\pi)ATU

(10)

という関係がある。

（参考：Causal Inference The Mixtape - 4 Potential Outcomes Causal Model）

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
n = 1000
users = pd.DataFrame()

ate = 0.1  # 真の効果。成約率の増加分
p_target = 0.3  # DMの重点エリアの成約率
p_normal = 0.2  # それ以外のエリアの成約率

np.random.seed(0)
x_target = np.random.binomial(n=1, p=p_target + ate, size=n//2)
x_normal = np.random.binomial(n=1, p=p_normal, size=n//2)

print(f"""
観測した両群の成約率
avg[Y|D=1] = {x_target.mean():.2f}
avg[Y|D=0] = {x_normal.mean():.2f}

その差分
τ_naive = avg[Y|D=1] - avg[Y|D=0] = {x_target.mean() - x_normal.mean():.2f}

（反実仮想）対照群がもし処置を受けていなかったら
E[Y(0)|D=1] = {p_target:.2f}
""")


観測した両群の成約率
avg[Y|D=1] = 0.39
avg[Y|D=0] = 0.21

その差分
τ_naive = avg[Y|D=1] - avg[Y|D=0] = 0.18

（反実仮想）対照群がもし処置を受けていなかったら
E[Y(0)|D=1] = 0.30

font_settings = dict(horizontalalignment="center", fontweight="bold")

fig, ax = plt.subplots(dpi=100, figsize=[5, 3])
ax.bar(0, p_target, color="gray")
ax.text(0, p_target * 0.5, "E[Y(0)|D=1]", color="white", **font_settings)

ax.bar(0, ate, bottom=p_target, color="dimgray")
ax.text(0, p_target + ate * 0.45, "τ / ATE", color="white", **font_settings)

ax.bar(1, p_normal, color="darkgray")
ax.text(1, p_normal * 0.5, "E[Y(0)|D=0]", color="white", **font_settings)

ax.bar(1, (p_target - p_normal), bottom=p_normal, color="white", linestyle=":", edgecolor="tomato")
ax.text(1, p_normal + (p_target - p_normal) * 0.25, "selection bias\nE[Y(0)|D=1] - E[Y(0)|D=0]", color="tomato", **font_settings)

ax.set(
    xticks=[0, 1],
    xticklabels=["D=1", "D=0"],
    ylabel="Y",
    ylim=[0, 0.45],
)
fig.show()

from myst_nb import glue
glue("selection_bias_fig", fig, display=False)

例：ダイレクトメール（DM）配布

あるサービスの広告目的でDMを配布するとする。

このとき、あらかじめ（DM施策以前から）成約率が高いことがわかっているエリアのみに配布したらどうなるだろうか。

例えば、成約率の高いエリアはもともとの成約率が0.3で、実際に実験時点においても $E[Y(0)|D=1] = 0.3$ だったとする

実際に観測されたのは

E[Y|D=1] = 0.4\\ E[Y|D=0] = 0.2

(13)

だったとする。

両者の差分 $\tau_{naive}$ は $0.4-0.2=0.2$ となる。

しかし、DMが配布されたエリアはもともと成約率が高かったので、セレクション・バイアス $E[Y(0)|D=1] - E[Y(0)|D=0]$ は $0.3 - 0.2 = 0.1$ となり、 $\tau_{naive}$ は0.1だけ過大にATEを推定していることになる。

glue:figure - Unknown Directive

:figwidth: 80%

無作為割り当ての場合¶

もし処置の割当 $D$ が無作為（ランダム）であれば潜在的結果 $Y(0), Y(1)$ とは独立

\newcommand{\indep}{\mathop{\hspace{0.1em} \perp\!\!\!\perp \hspace{0.1em}}} (Y(0), Y(1)) \indep D

(14)

となり

E[Y(0)| D = 0] = E[Y(0)]\\ E[Y(1)| D = 1] = E[Y(1)]

(15)

になるため、ナイーブな推定量がATEの推定量となる。

回帰分析によるATE推定¶

回帰分析は条件付き期待値 $E[Y|D, \boldsymbol{X}]$ を推定する方法であるため、二値変数の割当変数 $D\in \{0, 1\}$ を説明変数に含めた

Y = \tau D + \boldsymbol{X \beta} + \varepsilon

(18)

では回帰係数 $\tau$ は切片の違いすなわち両群の平均の差を表現しているため、 $\tau$ をATEの推定値と解釈することができる。

識別可能性¶

識別可能性（identifiability） とは、データから母数が一意に推定可能であること。

識別可能性をもつためには、2つの条件を満たす必要がある

例えば二値変数の $D\in\{0,1\}$ のとき、

E[Y \mid D=0] = E[Y(0) \mid D] = E[Y(0)]\\ E[Y \mid D=1] = E[Y(1) \mid D] = E[Y(1)]

(20)

となるため、観測できない潜在的結果 $E[Y(0)],E[Y(1)]$ が観測可能な $E[Y \mid D=0], E[Y \mid D=1]$ の推定値で推定可能となる

E[Y \mid D=1] - E[Y \mid D=0] = E[Y(1)] - E[Y(0)] = ATE

(21)

強く無視できる割り当て条件¶

共変量 $\boldsymbol{X}$ を条件付けた下での処置割当 $D$ と結果 $Y(0), Y(1)$ の独立

\newcommand{\indep}{\mathop{\hspace{0.1em} \perp\!\!\!\perp \hspace{0.1em}}} (Y(0), Y(1)) \indep D | \boldsymbol{X}

(22)

を

強く無視できる割り当て（strongly ignorable treatment assignment）条件や
条件付き独立の仮定 （conditional independence assumption: CIA）や
条件付き交換可能性 や
selection on observables

と呼ぶ。

This leads to the conditional independence assumption (CIA), a core assumption that provides the (sometimes implicit) justiÖcation for the causal interpretation of regression. This assumption is sometimes called selection-on-observables because the covariates to be held fixed are assumed to be known and observed (e.g., in Goldberger, 1972; Barnow, Cain, and Goldberger, 1981)
Angrist & Pischke (2009). Mostly Harmless Econometrics（Princeton Univ. Press）, p39.

強く無視できる割当条件が成立するとき、平均での独立性（mean independence）

E[Y|D=0, \boldsymbol{X}] = E[Y(0)|D, \boldsymbol{X}] = E[Y(0)|\boldsymbol{X}]\\ E[Y|D=1, \boldsymbol{X}] = E[Y(1)|D, \boldsymbol{X}] = E[Y(1)|\boldsymbol{X}]

(23)

が成立する。

そこから共変量について期待値をとればATEが推定できる

E_{\boldsymbol{X}} [ E[Y(1) - Y(0)|\boldsymbol{X}] ] = E[Y(1) - Y(0)] = ATE

(24)

SUTVA条件¶

個体 $i$ の潜在的結果 $Y_i(1), Y_i(0)$ が次の2つの条件を満たすとき、SUTVA（stable unit treatment value assumption）条件を満たすという（Rubin 1980）。

個体 $i$ の潜在的結果は、他の個体が受ける処置の値に依存しない
個体 $i$ に対する処置は1通りに定まる

条件1について¶

条件1は相互干渉がない（no interference）という言い方もされる（Cox 1958）。

相互干渉がある場合、個体 $i$ の潜在的結果は個体 $i$ の処置 $D_i$ だけでは定まらず、 $Y_i(D_1, \cdots, D_n)$ のように書く必要が出てきてかなり複雑になる。そのため、条件1は潜在的結果をシンプルに扱うための条件となる。

しかし現実には相互干渉が発生しうる。例えば労働者への教育プログラムの効果を推定する際には、他にもそのプログラムを受けて技能を向上させた労働者が多く現れる場合、労働市場における希少価値は低下し、結果として個体 $i$ の潜在的結果に影響を与えると考えられる。

条件2について¶

条件2は処置の内容を明確にすることを要請している。

例えば「ダイエットをする」という処置では、具体的に何をしたのかが人によって大きく異なる可能性がある。

参考文献¶

講義ノート¶

[2305.18793] A First Course in Causal Inference（UCバークレーの講義ノート）