SHAP

SHAP#

この分野の先行研究として、LIMEやDeepLIFTのような既存の説明手法が存在する。これらは数学的には似ていて

g (z^{'}) = ϕ_{0} + \sum_{i = 1}^{M} ϕ_{i} z_{i}^{'}

のような線形のモデルで表現する形をとる共通点がある。

ここで $ϕ$ は特徴量の貢献度（attribution）で、 $z^{'}$ は特徴量の有無を示す二値変数（ $z^{'} \in {0, 1}^{M}$ ）であり、Mは特徴量の数で、iは列のインデックス。

本論文ではこうした手法を総称してadditive feature attribution methodsとよぶ。

先行研究たちの構造（線形、というモデルの構造）は一緒で、 $ϕ$ の推定量が異なるような状況。

このφの求め方は色々あるが、以下に述べる3つの性質を持つような解はひとつしか存在せず、その解はShapley valueである。

性質1（Local accuracy）

説明モデル $g (x^{'})$ と元の予測モデル $f (x)$ の出力値が一致する

f (x) = g (x^{'}) = ϕ_{0} + \sum_{i = 1}^{M} ϕ_{i} x_{i}^{'}

性質2（Missingness）

ある特徴量が欠損しているとき、その特徴量は予測に貢献しない

x_{i}^{'} = 0 ⟹ ϕ_{i} = 0

性質3 （Consistency）

予測モデル $f (x)$ の出力値を増加あるいは維持する（下げない）特徴量があるとき、その特徴量の貢献度も下がらない

$f_{x} (z^{'}) = f (h_{x} (z^{'}))$ とおき、 $z_{i}^{'} = 0$ を $z^{'} ∖ i$ とおく。

もしすべての入力 $z^{'} \in {0, 1}^{M}$ について

f_{x}^{'} (z^{'}) - f_{x}^{'} (z^{'} ∖ i) \geq f_{x} (z^{'}) - f_{x} (z^{'} ∖ i)

のとき、 $ϕ_{i} (f^{'}, x) \geq ϕ_{i} (f, x)$

（Missingnessはadditive feature attribution methodsであれば満たされる。Local accuracyとConsistencyはShapley valueに関する研究で性質が明らかになっている）

以下の式がShapley valuesとして知られるもので、これは特徴量を追加したときの予測値の変化を、特徴量の有無のすべての組み合わせにわたって加重平均したものである。

Shapley values

ϕ_{i} = \sum_{S \subseteq F ∖ {i}} \frac{| S |! (| F | - | S | - 1)!}{| F |!} [f_{S \cup {i}} (x_{S \cup {i}}) - f_{S} (x_{S})]

Shapley valuesを条件付き期待値で表現したもの。

先行研究にはLIMEという局所線形近似によって説明モデルを作る手法がある。LIME推定量がShapley valueになるかどうかは損失関数L、重みカーネルπ、正則化項Ωに依存する。

以下のΩ, π, Lを使えば推定量がShapley valueになる。

Theorem 2 (Shapley kernel)

\begin{array}{r} \begin{aligned} Ω (g) & = 0 \\ π_{x^{'}} (z^{'}) & = \frac{(M - 1)}{(M choose | z^{'} |) | z^{'} | (M - | z^{'} |)}, \\ L (f, g, π_{x^{'}}) & = \sum_{z^{'} \in Z} {[f (h_{x} (z^{'})) - g (z^{'})]}^{2} π_{x^{'}} (z^{'}), \end{aligned} \end{array}

のもとで、LIMEの推定量

ξ = \underset{g \in G}{\arg min} L (f, g, π_{x^{'}}) + Ω (g)

は性質1~3を満たす。ここで $| z^{'} |$ は $z^{'}$ の非ゼロ要素の数。

誤差関数は重みつきの二乗誤差　→　重み付き最小二乗法で推定できる。