Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

Meta Learner

Conditional Average Treatment Effect (heterogeneous treatment effects)

CATE=τ(x):=E[Y(1)−Y(0)∣X=x]\text{CATE} = \tau(x) := \mathbb{E}[Y^{(1)}-Y^{(0)} \mid X=x]
(1)

の推定のため、複数の予測モデルを構築する手法

記法について

  • 個体ii

  • 共変量（covariates）または特徴量（features）：Xi∈X⊂RmX_i \in \mathcal{X} \subset \mathbb{R}^{m}

  • 潜在的結果（potential outcomes） Yi(0),Yi(1)∈RY_i^{(0)}, Y_i^{(1)} \in \mathbb{R}

  • 処置割当（assignment） Di∈{0,1}D_i \in \{0, 1\}

  • 個体iiのデータ：(Xi,Di,Yi(0),Yi(1))(X_i, D_i, Y_i^{(0)}, Y_i^{(1)})

  • 個体iiの観測データ：(Xi,Di,Yi)(X_i, D_i, Y_i)

  • 観測された結果：Yi=DiYi(1)+(1−Di)Yi(0)Y_i = D_i Y_i^{(1)} + (1 - D_i) Y_i^{(0)}

  • 処置の割当確率（propensity）: π(x)=P(Di=1∣Xi=x)\pi(x) = \mathbb{P}(D_i = 1\mid X_i = x)

CATEの識別可能性

もしoverlap条件とunconfoundednessの仮定が満たされる場合、Potential Outcome Regressions

μd(x)=E[Y(d)∣X=x]=E[Y∣X=x,D=d]\mu_d(x) = \mathbb{E}[Y^{(d)} \mid X = x] = \mathbb{E}[Y \mid X = x, D = d]
(2)

によりCATEが識別可能

CATEの推定の2つのアプローチ

2つに大別される

Indirect approach

τ^(x)=E^[Y∣X=x,D=1]−E^[Y∣X=x,D=0]\hat{\tau}(x)=\hat{\mathbb{E}}[Y \mid X=x, D=1]-\hat{\mathbb{E}}[Y \mid X=x, D=0]
(3)

Direct approach

CATEを直接推定する。

観測不可能なY(1)−Y(0)Y^{(1)}-Y^{(0)}の代わりに pseudo-outcomes YηY_{\eta}を構築してXXに回帰する。

τ^(x)=E^[Yη^∣X=x]( with E[Yη∣X=x]=E[Y(1)−Y(0)∣X=x])\hat{\tau}(x)=\hat{\mathbb{E}}\left[Y_{\hat{\eta}} \mid X=x\right]\left(\text { with } \mathbb{E}\left[Y_\eta \mid X=x\right] =\mathbb{E}\left[Y^{(1)}-Y^{(0)} \mid X=x\right]\right)
(4)

η\eta は 局外母数（nuisance parameters） で、傾向スコア（propensity score） π(x)=P(Di=1∣Xi=x)\pi(x) = \mathbb{P}(D_i = 1\mid X_i = x)か 回帰面（regression surface） μd(x)=E[Y(d)∣X=x]\mu_d(x) = \mathbb{E}[Y^{(d)} \mid X=x]が用いられる。

Indirect Approach

T-learner

回帰問題が解ける任意のアルゴリズムを2つ使い（two learners）、以下の3つのステップでCATEを推定する。

  1. 対照群の観測データをもとに、control response function μ0(x)\mu_0(x) を推定する

μ0(x)=E[Y(0)∣X=x]\mu_0(x)=\mathbb{E}[Y^{(0)} \mid X=x]
(6)

  1. 同様に処置群でも treatment response functionを推定する。

μ1(x)=E[Y(1)∣X=x]\mu_1(x)=\mathbb{E}[Y^{(1)} \mid X=x]
(7)

  1. 両者の差分をとり、T-learnerの完成

τ^(x)=μ^1(x)−μ^0(x)\hat{\tau}(x)=\hat{\mu}_1(x)-\hat{\mu}_0(x)
(8)

S-learner

処置の有無を表す変数ZZを1つの回帰モデルの特徴量に含める（single learner）

μ(x,z):=E[Yobs∣X=x,Z=z]\mu(x, z):=\mathbb{E}\left[Y^{o b s} \mid X=x, Z=z\right]
(10)

を作り、予測値の差分

τ^(x)=μ^(x,1)−μ^(x,0)\hat{\tau}(x)=\hat{\mu}(x, 1)-\hat{\mu}(x, 0)
(11)

によってCATEを推定する

X-learners

  1. response functions μ0(x),μ1(x)\mu_0(x), \mu_1(x) を推定する

μ0(x)=E[Y(0)∣X=x]μ1(x)=E[Y(1)∣X=x]\mu_0(x)=\mathbb{E}[Y(0) \mid X=x] \\ \mu_1(x)=\mathbb{E}[Y(1) \mid X=x]
(12)

  1. 対照群、処置群それぞれにおける個人の処置効果を実測値と予測値の差分で推定する（ imputed treatment effects）

Δ~i(1):=Yi(1)−μ^0(Xi(1))Δ~i(0):=μ^1(Xi(1))−Yi(0)\tilde{\Delta}_i^{(1)} := Y_i^{(1)} - \hat{\mu}_0(X_i^{(1)})\\ \tilde{\Delta}_i^{(0)} := \hat{\mu}_1(X_i^{(1)}) - Y_i^{(0)}
(13)

を使って、

τ1(x)=E[Δ~i(1)∣X=x]τ0(x)=E[Δ~i(0)∣X=x]\tau_1(x) = \mathbb{E}\left[\tilde{\Delta}_i^{(1)} \mid X=x \right]\\ \tau_0(x)= \mathbb{E}\left[\tilde{\Delta}_i^{(0)} \mid X=x \right]
(14)

と推定する。

もしうまく推定できてμ^0=μ0,μ^1=μ1\hat{\mu}_0 = \mu_0, \hat{\mu}_1 = \mu_1であれば、

τ(x)=E[Δ~i(1)∣X=x]=E[Δ~i(0)∣X=x]\tau(x) = \mathbb{E}\left[\tilde{\Delta}_i^{(1)} \mid X=x \right] = \mathbb{E}\left[\tilde{\Delta}_i^{(0)} \mid X=x \right]
(15)

（実測値のほうをΔ:=Y(1)−Y(0)\Delta := Y(1) - Y(0)とすると、τ(x)=E[Δ∣X=x]\tau(x) = \mathbb{E}\left[\Delta \mid X=x \right]のため）

  1. 重み関数g∈[0,1]g\in [0,1]を使ってτ1(x),τ0(x)\tau_1(x), \tau_0(x)を重み付き和にしてCATEを推定する

τ^(x)=g(x)τ^0(x)+(1−g(x))τ^1(x)\hat{\tau}(x)=g(x) \hat{\tau}_0(x)+(1-g(x)) \hat{\tau}_1(x)
(16)

ggはpropensity scoreが経験的によいらしい

Indirect Approachの欠点

1. T-learner が構造をうまく表現できない場合がある

τ(x)\tau(x)はμd(x)\mu_d(x)よりずっと単純な関数の可能性があり、その場合にうまく推定できないことがある。

Kennedy (2020)は、処置効果が同質（どのxxの値のもとでもATEが一定）のデータセットに対してT-learnerが高い異質性を推定（異なるxxに対して異なるATEを予測）したことを報告した。

2. S-learner がDiD_iの変動を捉えないことがある

処置効果より大きな影響をもつ共変量があったとき、モデルは処置効果の変化を重視しないかもしれない（例：決定木でDDが分岐に使われない）

3. T-learner, S-learnerどちらも複雑なCATEをコントロールできない

τ^(x)\hat{\tau}(x)は明示的にモデリングされないため、その複雑さを制御できない

Direct Approach

RA-learner

RA: regression adjustment

条件付き期待値をとると、

E[Y~RA,η^∣X=x]=π(x)[μ1(x)−μ^0(x)]+[1−π(x)][μ^1(x)−μ0(x)]\mathbb{E}[\tilde{Y}_{RA, \hat{\eta}} \mid X=x] = \pi(x)\left[\mu_1(x)-\hat{\mu}_0(x)\right] + \left[ 1-\pi(x) \right]\left[\hat{\mu}_1(x)-\mu_0(x)\right]
(18)

もしμ^d(x)=μd(x)\hat{\mu}_d(x) = {\mu}_d(x)なら

=π(x)[μ1(x)−μ0(x)]+[1−π(x)][μ1(x)−μ0(x)]=μ1(x)−μ0(x)=τ(x)\begin{aligned} &= \pi(x)\left[\mu_1(x)-{\mu}_0(x)\right] + \left[ 1-\pi(x) \right]\left[{\mu}_1(x)-\mu_0(x)\right] \\ &= \mu_1(x)-{\mu}_0(x)\\ &= \tau(x) \end{aligned}
(19)

PW-learner

逆確率重み付け（IPW）推定量

↑Horvitz-Thompson transformation

条件付き期待値をとると、

E[Y~PW,η^∣X=x]=π(x)π^(x)μ1(x)−1−π(x)1−π^(x)μ0(x)\mathbb{E}\left[\tilde{Y}_{P W, \hat{\eta}} \mid X=x\right] = \frac{\pi(x)}{\hat{\pi}(x)} \mu_1(x)-\frac{1-\pi(x)}{1-\hat{\pi}(x)} \mu_0(x)
(21)

もしπ^(x)=π(x)\hat{\pi}(x) = \pi(x)なら、

=μ1(x)−μ0(x)=τ(x)= \mu_1(x)-\mu_0(x)=\tau(x)
(22)

DR-learner

Doubly Robust推定量、あるいは Augmented Inverse Propensity-weighted (AIPW) 推定量と呼ばれるもの

条件付き期待値をとると

E[Y~DR,η^∣X=x]=π(x)π^(x)μ1(x)−1−π(x)1−π^(x)μ0(x)+[(1−π(x)π^(x))μ^1(x)−(1−1−π(x)1−π^(x))μ^0(x)]\mathbb{E}\left[\tilde{Y}_{D R, \hat{\eta}} \mid X=x\right]=\frac{\pi(x)}{\hat{\pi}(x)} \mu_1(x)-\frac{1-\pi(x)}{1-\hat{\pi}(x)} \mu_0(x)+\left[\left(1-\frac{\pi(x)}{\hat{\pi}(x)}\right) \hat{\mu}_1(x)-\left(1-\frac{1-\pi(x)}{1-\hat{\pi}(x)}\right) \hat{\mu}_0(x)\right]
(24)

もし π^(x)=π(x)\hat{\pi}(x)=\pi(x) なら

=μ1(x)−μ0(x)+0×μ^1(x)−0×μ^0(x)=τ(x)\quad=\mu_1(x)-\mu_0(x)+0 \times \hat{\mu}_1(x)-0 \times \hat{\mu}_0(x)=\tau(x)
(25)

もし μ^d(x)=μd(x)\hat{\mu}_d(x) = \mu_d(x) なら

=(1−π(x)π^(x)+π(x)π^(x))μ1(x)−(1−1−π(x)1−π^(x)+1−π(x)1−π^(x))μ0(x)=τ(x)\quad=\left(1-\frac{\pi(x)}{\hat{\pi}(x)} + \frac{\pi(x)}{\hat{\pi}(x)}\right) \mu_1(x) - \left(1-\frac{1-\pi(x)}{1-\hat{\pi}(x)}+\frac{1-\pi(x)}{1-\hat{\pi}(x)}\right) \mu_0(x)=\tau(x)
(26)

Causal Forestsとのつながり

An estimator closely related to T–RF and S–RF is Causal Forests, because all three of these estimators can be defined as

τ^(x)=μ^(x,w=1)−μ^(x,w=0)\hat{\tau}(x)=\hat{\mu}(x, w=1)-\hat{\mu}(x, w=0)
(27)

where μ^(x,w)\hat{\mu}(x, w) is a form of random forest with different constraints on the split on the treatment assignment (Appendix of Künzel, et al. (2019))

実装

CATENetsパッケージはニューラルネットワークベースのmeta-learnerを簡単に実行できる

AliciaCurth/CATENets: Sklearn-style implementations of Neural Network-based Conditional Average Treatment Effect (CATE) Estimators.

計量経済学・因果推論
Causal Machine Learning
計量経済学・因果推論
Causal ML系の応用研究