Model Class Reliance (MCR)

Contents

Model Class Reliance (MCR)#

Fisher et al. (2019). All models are wrong, but many are useful: Learning a variable’s importance by studying an entire class of prediction models simultaneously.

関連用語#

羅生門効果（Rashomon effect） ：「ひとつの事象に対する見解が互いに矛盾してしまう状況」

羅生門集合（Rashomon set） ：最適な訓練精度とほとんど変わらない精度を達成する予測モデルの集合

Model Class Reliance (MCR)#

羅生門集合を用いた、変数の重要度（variable importance: VI）の指標。

2つの特徴量 $X_{1}, X_{2}$ があるとする。 $X_{1}$ についての model reliance (MR) は観測値 $(a), (b)$ があるうちの $X_{1}$ の観測値だけ入れ替えたものへの訓練誤差ともともとの訓練誤差の比率っぽい（permutation importanceみたいな？）

\begin{array}{r} M R (f) := \frac{e_{switch} (f)}{e_{orig} (f)} = \frac{E [L {f, (Y^{(b)}, X_{1}^{(a)}, X_{2}^{(b)})}]}{E [L {f, (Y, X_{1}, X_{2})}]} \\ = \frac{Expected loss of f under noise}{Expected loss of f without noise} \end{array}

model class reliance (MCR) はそれらのRashomon set $R (ϵ)$ の中での最小値・最大値

[M C R_{-} (ϵ), M C R_{+} (ϵ)] := [min_{f \in R (ϵ)} M R (f), max_{f \in R (ϵ)} M R (f)]

参考#