Generalized Random Forest (GRF) - データサイエンス関連+αのメモ

Generalized Random Forest（GRF） はRandom Forestを局所的な重み付けの推定器として一般化したもの。

文献¶

公式

outcome $Y_i$ が次のような関係になっていると仮定する

Y_i=\tau(X_i) W_i+f(X_i)+\varepsilon_i, \quad \mathrm{E}\left[\varepsilon_i \mid X_i, W_i\right]=0

Breiman の random forestは条件付き平均 $\mu(x)=\mathrm{E}\left[Y_i \mid X_i=x\right]$ を推定する

訓練フェーズ ：共変量と分割点を貪欲法的にサブグループの平均の二乗差 $n_L n_R\left(\bar{y}_L-\bar{y}_R\right)^2$ を最大化するように選び、 $B$ 個の木を作る。
予測フェーズ ：木を平均する。すなわち、目的のサンプル $x$ について、同じ葉ノード $L_b(x)$ におけるoutcomes $Y_i$ の平均を $B$ 個の木にわたって平均する

\begin{aligned} \hat{\mu}(x) & =\sum_{i-1}^n \frac{1}{B} \sum_{b-1}^B Y_i \frac{1\left\{X_i \in L_b(x)\right\}}{\left|L_b(x)\right|} \\ & =\sum_{i-1}^n Y_i \alpha_i(x) \end{aligned}

すなわち、Random Forestは重み $\alpha_i(x)$ によるoutcomeの荷重和を返す。

Causal forestsはRobinsonのアプローチ（部分線形モデルの残差回帰）とRandom Forestを組み合わせたもの。

訓練フェーズ： 推定された部分集団ごとの処置効果の差の二乗、 $n_L n_R (\hat{\tau}_L - \hat{\tau}_R)^2$ を最大化するように分割を選択する。ここで、 $\hat{\tau}$ は残差同士の回帰によって計算される。
予測フェーズ： 得られたフォレストの重み $\alpha_i(x)$ を用いて、次のように推定する。

\tau(x) := \operatorname{lm}\left( Y_i - \hat{m}^{(-i)}(X_i) \sim W_i - \hat{e}^{(-i)}(X_i), \text{ weights } = \alpha_i(x) \right)

Atlantic causal inference conferenceの因果推論コンペでの成績は悪かったらしい