Generalized Random Forest (GRF)

Generalized Random Forest (GRF)#

[1610.01271] Generalized Random Forests

Generalized Random Forest（GRF） はRandom Forestを局所的な重み付けの推定器として一般化したもの。

  • 与えられた観測点 \(x\) に対し、その周囲の観測データを「重み付き」平均で統計量を推定する構造

  • 目的変数は一般のM-推定問題に拡張可能（平均だけでなく、分位点、最適政策など）

理論#

まずモーメント条件により\(\theta(x)\)のforest-based estimatorsを定義する

(定義) 局所モーメント条件

データ \((X_i, O_i) \in \mathcal{X} \times \mathcal{O}\) が次の式を満たすと仮定する

\[ \mathbb{E}\left[\psi_{\theta(x), \nu(x)}\left(O_i\right) \mid X_i=x\right]=0 \text { for all } x \in \mathcal{X} \]

  • \(\theta=(\theta(x))_{x \in \mathcal{X}} \in \Theta=\left\{\theta: \mathcal{X} \rightarrow \mathbb{R}^{k_p}\right\}:\) 興味のある（汎関数）パラメータ

  • \(\nu=(\nu(x))_{x \in \mathcal{X}} \in \Theta=\left\{\nu: \mathcal{X} \rightarrow \mathbb{R}^{k_q}\right\}:\) 局外（汎関数）パラメータ

  • \(\psi_{., .}(\cdot): \mathcal{X} \times \mathcal{O} \rightarrow \mathbb{R}^{k_\psi}:\) スコア関数

一般化ランダムフォレストの理論と統計的因果推論への応用 - Speaker Deck

  • 非常によくまとまっている資料

  • Random Forest / Tree は、サンプルをある基準で重み付けるカーネルを学習するもの、という一般化

  • grfパッケージ（R）

GRFは欠陥あり？#

Atlantic causal inference conferenceの因果推論コンペでの成績は悪かったらしい

（Ken McAlinnさんはTwitterを使っています: 「因果推定コンテストで回帰分析にボロ負けした話もちゃんと載せてほしい。」 / Twitter）

Contents