Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

Causal Tree

Causal TreeはCATE推定に使えるよう改良された決定木。

ただし、観察研究データに使用するためには選択バイアスを除去する必要があり、Atheyらによって傾向スコアを用いた改良手法Causal Tree-Transformed Outcome（CT-TO）が提案されている

前提 / Notation

Potential outcome framework

  • Ya=1,Ya=0∈RY_{a=1}, Y_{a=0} \in \mathbb{R} ：潜在結果変数

  • XjX_j： pp次元の pre-treatment 共変量（ j=1:pj=1:p ）

  • A={0,1}A=\{0,1\} ：処置変数

  • π(x)=Pr⁡(A=1∣X=x)\pi(x)=\operatorname{Pr}(A=1 \mid X=x) ：傾向スコア

Assumptions

  • Consistency: Y=AYa=1+(1−A)Ya=0Y=A Y_{a=1}+(1-A) Y_{a=0}

  • Unconfoundedness: A⊥Ya∣X for a=0,1A \perp Y_a \mid X \text { for } a=0,1

  • Posititvity: 0<π(x)<10<\pi(x)<1

Definitions

  • Average Treatment Effect (ATE): θATE=E[Ya=1−Ya=0]\theta^{A T E}=\mathrm{E}\left[Y_{a=1}-Y_{a=0}\right]

  • Heterogeneous Treatment Effect (HTE): θHTE(x)=E[Ya=1−Ya=0∣X=x]\theta^{H T E}(x)=\mathrm{E}\left[Y_{a=1}-Y_{a=0} \mid X=x\right]

Honest

  • Causal Treesはrecursive partitioningを用いてHeterogeneous Treatment Effectを推定する手法。

  • honest性という概念がcausal forestsやGeneralized Random Forestの証明において重要な役割を果たす。

  • またhonest性を満たすTreeはCARTと比較して過学習を起こしにくいという性質もある。

honest

「木の分割（partitioning）をするために用いるサンプル」と「TreeのLeafごとの推定量の計算に用いるサンプル」に別々のサンプルを用いることで、partition Π\Pi と 推定量μ^\hat{\mu} が独立になったTree を honest なTreeであるという

honestな木はCARTと異なる目的関数をもつ

honestな木はpartition Π\Piのもとで estimation sample Sest\mathcal{S}^{e s t} を用いて推定された条件付き平均μ^(Xi;Sest,Π)\hat{\mu}\left(X_i ; \mathcal{S}^{e s t}, \Pi\right)とテストデータSte\mathcal{S}^{t e}の平均二乗誤差

MSE⁡(Ste,Sest,Π)=1#(Ste)∑i∈Ste{(Yi−μ^(Xi;Sest,Π))2−Yi2}\operatorname{MSE}\left(\mathcal{S}^{t e}, \mathcal{S}^{e s t}, \Pi\right)=\frac{1}{\#\left(\mathcal{S}^{t e}\right)} \sum_{i \in \mathcal{S}^{t e}} \left\{\left(Y_i-\hat{\mu}\left(X_i ; \mathcal{S}^{e s t}, \Pi\right)\right)^2-Y_i^2\right\}
(1)

の期待値をとったものを最小化する。

Πhonest=arg⁡min⁡ΠESte,Sest,Str[MSE⁡(Ste,Sest,Π(Str)]\Pi^{\text{honest}}= \arg\min_\Pi \mathrm{E}_{\mathcal{S}^{\text{te}}, \mathcal{S}^{\text{est}}, \mathcal{S}^{\text{tr}}} \left[\operatorname{MSE}(\mathcal{S}^{\text{te}}, \mathcal{S}^{\text{est}}, \Pi(\mathcal{S}^{\text{tr}})\right]
(2)

一方で一般的なCARTでは、訓練サンプル Ste\mathcal{S}^{\text{te}} を使ってpartition Π\Piと推定量μ^\hat{\mu}を作って誤差を最小化する

ΠCART=arg⁡min⁡ΠESte,Str[MSE⁡(Ste,Str,Π(Str)]\Pi^{\text{CART}}= \arg\min_\Pi \mathrm{E}_{\mathcal{S}^{\text{te}}, \mathcal{S}^{\text{tr}}} \left[\operatorname{MSE}(\mathcal{S}^{\text{te}}, \mathcal{S}^{\text{tr}}, \Pi(\mathcal{S}^{\text{tr}})\right]
(3)

honestな木は過学習しにくい

MSEの期待値を取ったものをEMSE

EMSE⁡(Π):=ESte,Sest [MSE⁡(Ste,Sest ,Π)]\operatorname{EMSE}(\Pi) := \mathrm{E}_{\mathcal{S}^{t e}, \mathcal{S}^{\text {est }}}\left[\operatorname{MSE}\left(\mathcal{S}^{t e}, \mathcal{S}^{\text {est }}, \Pi\right)\right]
(4)

とする。honestな木はこれを目的関数とする。

負のEMSEを展開すると

−EMSE⁡(Π)=−E(Yi,Xj),Sest⁡[(Yi−μ(Xi;Π)2−Yi]−EXi,Sest [(μ^(Xi;Sest ;Π)−μ(Xi;Π))2]=EXi[μ2(Xi;Π)]−ESest ,Xi[Var⁡(μ^(Xi;Sest ;Π))]\begin{aligned} -\operatorname{EMSE}(\Pi) & =-\mathrm{E}_{\left(Y_i, X_j\right), \mathcal{S}^{\operatorname{est}}}\left[\left(Y_i-\mu\left(X_i ; \Pi\right)^2-Y_i\right]\right. \\ & -\mathrm{E}_{X_i, \mathcal{S}^{\text {est }}}\left[\left(\hat{\mu}\left(X_i ; \mathcal{S}^{\text {est }} ; \Pi\right)-\mu\left(X_i ; \Pi\right)\right)^2\right] \\ & =\mathrm{E}_{X_i}\left[\mu^2\left(X_i ; \Pi\right)\right]-\mathrm{E}_{\mathcal{S}^{\text {est }}, X_i}\left[\operatorname{Var}\left(\hat{\mu}\left(X_i ; \mathcal{S}^{\text {est }} ; \Pi\right)\right)\right] \end{aligned}
(5)

となる。

これに対して訓練サンプルStr\mathcal{S}^{t r}から不偏推定量を構成すると

EMSE⁡^(Str,Π)=1Ntr∑i∈Strμ^2(Xi;Str,Π)−2Ntr⋅∑ℓ∈ΠSStr2(ℓ)⏟penalty\widehat{\operatorname{EMSE}}\left(\mathcal{S}^{t r}, \Pi\right) =\frac{1}{N^{t r}} \sum_{i \in \mathcal{S}^{t r}} \hat{\mu}^2\left(X_i ; \mathcal{S}^{t r}, \Pi\right) -\underbrace{ \frac{2}{N^{t r}} \cdot \sum_{\ell \in \Pi} S_{\mathcal{S}^{t r}}^2(\ell) }_{penalty}
(6)

となる。ここでSStr2(ℓ)S_{\mathcal{S}^{t r}}^2(\ell)はℓ∈Π\ell \in \Piにおけるleaf内分散を意味する。

一方で、CARTにおいてはpenalty項がなく、分割を行えば行うほど−MSE⁡-\operatorname{MSE}が改善するため、枝刈りが必要になる。

−MSE⁡(Str,Str,Π)=1Ntr∑i∈Strμ^2(Xi;Str,Π)-\operatorname{MSE}\left(\mathcal{S}^{t r}, \mathcal{S}^{t r}, \Pi\right)=\frac{1}{N^{t r}} \sum_{i \in \mathcal{S}^{t r}} \hat{\mu}^2\left(X_i ; \mathcal{S}^{t r}, \Pi\right)
(7)

leaf内分散はleaf内のサンプル数が多いうちは小さい（=CARTとhonest treeは似た挙動になる）が、leaf内サンプルが小さくなると高くなりやすい（分割を停止する方向に動く）。

HTEの推定

問題：データ (Yi,Xi,Wi)∈R×Rρ×{0,1}\left(Y_i, X_i, W_i\right) \in \mathbb{R} \times \mathbb{R}^\rho \times\{0,1\} が観測されたもとで、 θHTE(x)=E[Ya=1−Ya=0∣X=x]\theta^{H T E}(x)=\mathrm{E}\left[Y_{a=1}-Y_{a=0} \mid X=x\right] を推定する問題

τ(x;Π)≡E[Ya=1−Ya=0∣X∈ℓ(x;Π)]\tau(x ; \Pi) \equiv \mathrm{E}\left[Y_{a=1}-Y_{a=0} \mid X \in \ell(x ; \Pi)\right]
(8)
μ(a,x;Π)≡E[Ya∣X∈ℓ(x;Π)]\mu(a, x ; \Pi) \equiv \mathrm{E}\left[Y_a \mid X \in \ell(x ; \Pi)\right]
(9)

Causal Treeヘの批判

[2509.11381] The Honest Truth About Causal Trees: Accuracy Limits for Heterogeneous Treatment Effect Estimation

理論解析を行った結果、推定量の収束レートが遅く、あまりいい推定量じゃなさそうであることがわかった

計量経済学・因果推論
Causal Forest / GRF
計量経済学・因果推論
Casual Forest