Causal TreeはCATE推定に使えるよう改良された決定木。
ただし、観察研究データに使用するためには選択バイアスを除去する必要があり、Atheyらによって傾向スコアを用いた改良手法Causal Tree-Transformed Outcome（CT-TO）が提案されている
前提 / Notation ¶ Potential outcome framework
Y a = 1 , Y a = 0 ∈ R Y_{a=1}, Y_{a=0} \in \mathbb{R} Y a = 1 , Y a = 0 ∈ R
X j X_j X j p p p j = 1 : p j=1:p j = 1 : p
A = { 0 , 1 } A=\{0,1\} A = { 0 , 1 }
π ( x ) = Pr ( A = 1 ∣ X = x ) \pi(x)=\operatorname{Pr}(A=1 \mid X=x) π ( x ) = Pr ( A = 1 ∣ X = x )
Assumptions
Consistency: Y = A Y a = 1 + ( 1 − A ) Y a = 0 Y=A Y_{a=1}+(1-A) Y_{a=0} Y = A Y a = 1 + ( 1 − A ) Y a = 0
Unconfoundedness: A ⊥ Y a ∣ X for a = 0 , 1 A \perp Y_a \mid X \text { for } a=0,1 A ⊥ Y a ∣ X for a = 0 , 1
Posititvity: 0 < π ( x ) < 1 0<\pi(x)<1 0 < π ( x ) < 1
Definitions
Average Treatment Effect (ATE): θ A T E = E [ Y a = 1 − Y a = 0 ] \theta^{A T E}=\mathrm{E}\left[Y_{a=1}-Y_{a=0}\right] θ A TE = E [ Y a = 1 − Y a = 0 ]
Heterogeneous Treatment Effect (HTE): θ H T E ( x ) = E [ Y a = 1 − Y a = 0 ∣ X = x ] \theta^{H T E}(x)=\mathrm{E}\left[Y_{a=1}-Y_{a=0} \mid X=x\right] θ H TE ( x ) = E [ Y a = 1 − Y a = 0 ∣ X = x ]
Honest ¶ Causal Treesはrecursive partitioningを用いてHeterogeneous Treatment Effectを推定する手法。
honest性という概念がcausal forestsやGeneralized Random Forestの証明において重要な役割を果たす。
またhonest性を満たすTreeはCARTと比較して過学習を起こしにくいという性質もある。
honest
「木の分割（partitioning）をするために用いるサンプル」と「TreeのLeafごとの推定量の計算に用いるサンプル」に別々のサンプルを用いることで、partition Π \Pi Π μ ^ \hat{\mu} μ ^
honestな木はCARTと異なる目的関数をもつ ¶ honestな木はpartition Π \Pi Π S e s t \mathcal{S}^{e s t} S es t μ ^ ( X i ; S e s t , Π ) \hat{\mu}\left(X_i ; \mathcal{S}^{e s t}, \Pi\right) μ ^ ( X i ; S es t , Π ) S t e \mathcal{S}^{t e} S t e
MSE ( S t e , S e s t , Π ) = 1 # ( S t e ) ∑ i ∈ S t e { ( Y i − μ ^ ( X i ; S e s t , Π ) ) 2 − Y i 2 } \operatorname{MSE}\left(\mathcal{S}^{t e}, \mathcal{S}^{e s t}, \Pi\right)=\frac{1}{\#\left(\mathcal{S}^{t e}\right)}
\sum_{i \in \mathcal{S}^{t e}}
\left\{\left(Y_i-\hat{\mu}\left(X_i ; \mathcal{S}^{e s t}, \Pi\right)\right)^2-Y_i^2\right\} MSE ( S t e , S es t , Π ) = # ( S t e ) 1 i ∈ S t e ∑ { ( Y i − μ ^ ( X i ; S es t , Π ) ) 2 − Y i 2 } の期待値をとったものを最小化する。
Π honest = arg min Π E S te , S est , S tr [ MSE ( S te , S est , Π ( S tr ) ] \Pi^{\text{honest}}=
\arg\min_\Pi \mathrm{E}_{\mathcal{S}^{\text{te}}, \mathcal{S}^{\text{est}}, \mathcal{S}^{\text{tr}}}
\left[\operatorname{MSE}(\mathcal{S}^{\text{te}}, \mathcal{S}^{\text{est}}, \Pi(\mathcal{S}^{\text{tr}})\right] Π honest = arg Π min E S te , S est , S tr [ MSE ( S te , S est , Π ( S tr ) ] 一方で一般的なCARTでは、訓練サンプル S te \mathcal{S}^{\text{te}} S te Π \Pi Π μ ^ \hat{\mu} μ ^
Π CART = arg min Π E S te , S tr [ MSE ( S te , S tr , Π ( S tr ) ] \Pi^{\text{CART}}=
\arg\min_\Pi \mathrm{E}_{\mathcal{S}^{\text{te}}, \mathcal{S}^{\text{tr}}}
\left[\operatorname{MSE}(\mathcal{S}^{\text{te}}, \mathcal{S}^{\text{tr}}, \Pi(\mathcal{S}^{\text{tr}})\right] Π CART = arg Π min E S te , S tr [ MSE ( S te , S tr , Π ( S tr ) ] honestな木は過学習しにくい ¶ MSEの期待値を取ったものをEMSE
EMSE ( Π ) : = E S t e , S est [ MSE ( S t e , S est , Π ) ] \operatorname{EMSE}(\Pi) := \mathrm{E}_{\mathcal{S}^{t e}, \mathcal{S}^{\text {est }}}\left[\operatorname{MSE}\left(\mathcal{S}^{t e}, \mathcal{S}^{\text {est }}, \Pi\right)\right] EMSE ( Π ) := E S t e , S est [ MSE ( S t e , S est , Π ) ] とする。honestな木はこれを目的関数とする。
負のEMSEを展開すると
− EMSE ( Π ) = − E ( Y i , X j ) , S est [ ( Y i − μ ( X i ; Π ) 2 − Y i ] − E X i , S est [ ( μ ^ ( X i ; S est ; Π ) − μ ( X i ; Π ) ) 2 ] = E X i [ μ 2 ( X i ; Π ) ] − E S est , X i [ Var ( μ ^ ( X i ; S est ; Π ) ) ] \begin{aligned}
-\operatorname{EMSE}(\Pi) & =-\mathrm{E}_{\left(Y_i, X_j\right), \mathcal{S}^{\operatorname{est}}}\left[\left(Y_i-\mu\left(X_i ; \Pi\right)^2-Y_i\right]\right. \\
& -\mathrm{E}_{X_i, \mathcal{S}^{\text {est }}}\left[\left(\hat{\mu}\left(X_i ; \mathcal{S}^{\text {est }} ; \Pi\right)-\mu\left(X_i ; \Pi\right)\right)^2\right] \\
& =\mathrm{E}_{X_i}\left[\mu^2\left(X_i ; \Pi\right)\right]-\mathrm{E}_{\mathcal{S}^{\text {est }}, X_i}\left[\operatorname{Var}\left(\hat{\mu}\left(X_i ; \mathcal{S}^{\text {est }} ; \Pi\right)\right)\right]
\end{aligned} − EMSE ( Π ) = − E ( Y i , X j ) , S est [ ( Y i − μ ( X i ; Π ) 2 − Y i ] − E X i , S est [ ( μ ^ ( X i ; S est ; Π ) − μ ( X i ; Π ) ) 2 ] = E X i [ μ 2 ( X i ; Π ) ] − E S est , X i [ Var ( μ ^ ( X i ; S est ; Π ) ) ] となる。
これに対して訓練サンプルS t r \mathcal{S}^{t r} S t r
EMSE ^ ( S t r , Π ) = 1 N t r ∑ i ∈ S t r μ ^ 2 ( X i ; S t r , Π ) − 2 N t r ⋅ ∑ ℓ ∈ Π S S t r 2 ( ℓ ) ⏟ p e n a l t y \widehat{\operatorname{EMSE}}\left(\mathcal{S}^{t r}, \Pi\right)
=\frac{1}{N^{t r}} \sum_{i \in \mathcal{S}^{t r}} \hat{\mu}^2\left(X_i ; \mathcal{S}^{t r}, \Pi\right)
-\underbrace{ \frac{2}{N^{t r}} \cdot \sum_{\ell \in \Pi} S_{\mathcal{S}^{t r}}^2(\ell) }_{penalty} EMSE ( S t r , Π ) = N t r 1 i ∈ S t r ∑ μ ^ 2 ( X i ; S t r , Π ) − p e na lt y N t r 2 ⋅ ℓ ∈ Π ∑ S S t r 2 ( ℓ ) となる。ここでS S t r 2 ( ℓ ) S_{\mathcal{S}^{t r}}^2(\ell) S S t r 2 ( ℓ ) ℓ ∈ Π \ell \in \Pi ℓ ∈ Π
一方で、CARTにおいてはpenalty項がなく、分割を行えば行うほど− MSE -\operatorname{MSE} − MSE
− MSE ( S t r , S t r , Π ) = 1 N t r ∑ i ∈ S t r μ ^ 2 ( X i ; S t r , Π ) -\operatorname{MSE}\left(\mathcal{S}^{t r}, \mathcal{S}^{t r}, \Pi\right)=\frac{1}{N^{t r}} \sum_{i \in \mathcal{S}^{t r}} \hat{\mu}^2\left(X_i ; \mathcal{S}^{t r}, \Pi\right) − MSE ( S t r , S t r , Π ) = N t r 1 i ∈ S t r ∑ μ ^ 2 ( X i ; S t r , Π ) leaf内分散はleaf内のサンプル数が多いうちは小さい（=CARTとhonest treeは似た挙動になる）が、leaf内サンプルが小さくなると高くなりやすい（分割を停止する方向に動く）。
HTEの推定 ¶ 問題：データ ( Y i , X i , W i ) ∈ R × R ρ × { 0 , 1 } \left(Y_i, X_i, W_i\right) \in \mathbb{R} \times \mathbb{R}^\rho \times\{0,1\} ( Y i , X i , W i ) ∈ R × R ρ × { 0 , 1 } θ H T E ( x ) = E [ Y a = 1 − Y a = 0 ∣ X = x ] \theta^{H T E}(x)=\mathrm{E}\left[Y_{a=1}-Y_{a=0} \mid X=x\right] θ H TE ( x ) = E [ Y a = 1 − Y a = 0 ∣ X = x ]
τ ( x ; Π ) ≡ E [ Y a = 1 − Y a = 0 ∣ X ∈ ℓ ( x ; Π ) ] \tau(x ; \Pi) \equiv \mathrm{E}\left[Y_{a=1}-Y_{a=0} \mid X \in \ell(x ; \Pi)\right] τ ( x ; Π ) ≡ E [ Y a = 1 − Y a = 0 ∣ X ∈ ℓ ( x ; Π ) ] μ ( a , x ; Π ) ≡ E [ Y a ∣ X ∈ ℓ ( x ; Π ) ] \mu(a, x ; \Pi) \equiv \mathrm{E}\left[Y_a \mid X \in \ell(x ; \Pi)\right] μ ( a , x ; Π ) ≡ E [ Y a ∣ X ∈ ℓ ( x ; Π ) ]
Athey, S., & Imbens, G. (2016). Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences , 113 (27), 7353–7360. 10.1073/pnas.1510489113