BART: Bayesian additive regression trees
問題設定 ¶ 連続変数の目的変数y y y x = ( x 1 , … , x p ) x = (x_1, \dots, x_p) x = ( x 1 , … , x p ) f ( x ) f(x) f ( x )
y = f ( x ) + ε , ε ∼ N ( 0 , σ 2 ) y = f(x) + \varepsilon, \quad \varepsilon \sim N(0, \sigma^2) y = f ( x ) + ε , ε ∼ N ( 0 , σ 2 ) という関係性になっているとする。このf ( x ) f(x) f ( x )
モデル ¶ 二分木 T T T b b b M = { μ 1 , … , μ b } M = \{ \mu_1, \dots, \mu_b \} M = { μ 1 , … , μ b } x x x μ i ∈ M \mu_i \in M μ i ∈ M g ( x ∣ T , M ) g(x \mid T, M) g ( x ∣ T , M )
y = ∑ j = 1 m g ( x ∣ T j , M j ) + ε , ε ∼ N ( 0 , σ 2 ) y = \sum_{j=1}^m g(x \mid T_j, M_j) + \varepsilon, \quad \varepsilon \sim N(0, \sigma^2) y = j = 1 ∑ m g ( x ∣ T j , M j ) + ε , ε ∼ N ( 0 , σ 2 ) 事前分布による正則化 ¶ T j T_j T j ¶ 二分木 T j T_j T j p ( T j ) p(T_j) p ( T j ) d d d
α ( 1 + d ) − β , α ∈ ( 0 , 1 ) , β ∈ [ 0 , ∞ ) \alpha(1+d)^{-\beta}, \quad \alpha \in(0,1), \beta \in[0, \infty) α ( 1 + d ) − β , α ∈ ( 0 , 1 ) , β ∈ [ 0 , ∞ ) で与えられる。
μ i j ∣ T j \mu_{ij}\mid T_j μ ij ∣ T j ¶ 終端ノードのパラメータμ i j \mu_{ij} μ ij
μ i j ∼ N ( 0 , σ μ 2 ) where σ μ = 0.5 k m \mu_{i j} \sim N\left(0, \sigma_\mu^2\right) \quad \text { where } \sigma_\mu=\frac{0.5}{k \sqrt{m}} μ ij ∼ N ( 0 , σ μ 2 ) where σ μ = k m 0.5 とする。ここでk k k m m m σ μ \sigma_\mu σ μ
σ \sigma σ ¶ 逆カイ二乗分布に従うとする
σ 2 ∼ ν λ χ ν 2 \sigma^2 \sim \frac{\nu \lambda}{ \chi_\nu^2} σ 2 ∼ χ ν 2 ν λ パラメータ推定 ¶ 事後分布 p ( ( T 1 , M 1 ) , … , ( T m , M m ) , σ ∣ y ) p((T_1, M_1), \ldots,(T_m, M_m), \sigma \mid y) p (( T 1 , M 1 ) , … , ( T m , M m ) , σ ∣ y ) Bayesian backfitting MCMC (Hastie and Tibshirani, 2000) を使う。これは残差に対して適応して段階的に加法モデルを作っていくアプローチで、ようは勾配ブースティングのベイズ版である。
T ̸ j T_{\not \ j} T j T j T_j T j m − 1 m-1 m − 1 M ̸ j M_{\not \ j} M j
j = 1 , … , m j=1,\dots, m j = 1 , … , m j j j
( T j , M j ) ∣ T ( j ) , M ( j ) , σ , y (T_j, M_j) \mid T_{(j)}, M_{(j)}, \sigma, y ( T j , M j ) ∣ T ( j ) , M ( j ) , σ , y とサンプリングする。このT ( j ) , M ( j ) , σ , y T_{(j)}, M_{(j)}, \sigma, y T ( j ) , M ( j ) , σ , y j j j
R j ≡ y − ∑ k ≠ j g ( x ; T k , M k ) R_j \equiv y-\sum_{k \neq j} g\left(x ; T_k, M_k\right) R j ≡ y − k = j ∑ g ( x ; T k , M k ) を使って
( T j , M j ) ∣ R j , σ (T_j, M_j) \mid R_j, \sigma ( T j , M j ) ∣ R j , σ と実装できる。
σ \sigma σ
σ ∣ T 1 , … , T m , M 1 , … , M m , y \sigma \mid T_1, \ldots, T_m, M_1, \ldots, M_m, y σ ∣ T 1 , … , T m , M 1 , … , M m , y BARTによる因果推論 ¶ Bayesian Nonparametric Modeling for Causal Inference: Journal of Computational and Graphical Statistics: Vol 20, No 1
BARTを使って推定した1つの予測モデル f ( x , z ) f(x, z) f ( x , z ) z z z
τ ( x ) = f ( x , 1 ) − f ( x , 0 ) \tau(x) = f(x, 1) - f(x, 0) τ ( x ) = f ( x , 1 ) − f ( x , 0 )
Hill, J. L. (2011). Bayesian Nonparametric Modeling for Causal Inference. Journal of Computational and Graphical Statistics , 20 (1), 217–240. 10.1198/jcgs.2010.08162