Model Class Reliance (MCR) - データサイエンス関連+αのメモ

Fisher et al. (2019). All models are wrong, but many are useful: Learning a variable’s importance by studying an entire class of prediction models simultaneously.

Model Class Reliance (MCR)¶

羅生門集合を用いた、変数の重要度（variable importance: VI）の指標。

2つの特徴量 $X_1, X_2$ があるとする。 $X_1$ についての model reliance (MR) は観測値 $(a),(b)$ があるうちの $X_1$ の観測値だけ入れ替えたものへの訓練誤差ともともとの訓練誤差の比率っぽい（permutation importanceみたいな？）

M R(f) := \frac{e_{\text {switch }}(f)}{e_{\text {orig }}(f)} = \frac{\mathbb{E} \left[L \left\{f,\left(Y^{(b)}, X_1^{(a)}, X_2^{(b)}\right)\right\} \right]} {\mathbb{E} \left[ L\left\{f,\left(Y, X_1, X_2\right)\right\} \right]}\\ = \frac{ \text{ Expected loss of} ~ f \text{ under noise} } { \text{ Expected loss of} ~ f \text{ without noise } }

(1)

model class reliance (MCR) はそれらのRashomon set $\mathcal{R}(\epsilon)$ の中での最小値・最大値

\left[M C R_{-}(\epsilon), M C R_{+}(\epsilon)\right]:=\left[\min _{f \in \mathcal{R}(\epsilon)} M R(f), \max _{f \in \mathcal{R}(\epsilon)} M R(f)\right]

(2)

関連用語¶

Model Class Reliance (MCR)¶

参考¶