モデルの評価

モデルの評価#

処置効果 $θ (X)$ の推定を行う。 $Y$ はoutcome, $T$ はtreatment

\begin{array}{r} \begin{aligned} Y & = θ (X) \cdot T + g (X) + ε, E [ε ∣ X] = 0 \\ T & = f (X) + η, E [η ∣ X] = 0 \\ E [η \cdot ε ∣ X] & = 0 \end{aligned} \end{array}

$g (X), f (X)$ はそれぞれoutcomeとtreatmentを予測するモデル

別途outcomeをXから予測するモデル $q (X)$ を構築し、残差

\begin{array}{r} \begin{aligned} \tilde{Y} = Y - q (X) \\ \tilde{T} = T - f (X) \end{aligned} \end{array}

を得る。

これらを組み合わせて

\tilde{Y} = θ (X) \cdot \tilde{T} + ε

と回帰することで $θ (X)$ を推定する。

モデル評価のためのスコア。

r = 1 - \frac{r_{loss}}{b_{loss}}

ここで

r_{loss} = E [{(\tilde{Y} - τ (x) \tilde{T})}^{2}]

$b_{loss}$ はconstant treatment model (linear double machine learning modelなど）のbaseline loss

感度分析（sensitivity analysis）はモデルへのinputを少し変えることでモデルの反応がどれだけ変わるかを見るもの。

refutation法はDoWhyの論文で提案された方法。

など