推薦システムの評価 - データサイエンス関連+αのメモ

評価のタイミング¶

オフライン評価の際に、データセットをどう分割するか

一般的な機械学習のように予測精度を評価する場合に使われる指標

（クリック率予測など）

\begin{aligned} \text { Log-likelihood } & =\sum_{(i, j) \in \boldsymbol{\Omega}^{\mathrm{test}}} \log \operatorname{Pr}\left(y_{i j} \mid \hat{p}_{i j}\right) \\ & =\sum_{(i, j) \in \boldsymbol{\Omega}^{\mathrm{test}}} y_{i j} \log \left(\hat{p}_{i j}\right)+\left(1-y_{i j}\right) \log \left(1-\hat{p}_{i j}\right) \end{aligned}

**大局的ランキング指標（global ranking metrics）**は、モデルによる推定スコアでテストセットを順序付けしたとき、評価の高いユーザー・アイテム対が低い評価の対より上位に順位付けされる度合いを測るもの。

二値分類（例：クリック予測）や二値化されうる問題設定の場合、PR曲線やROC曲線を使った評価ができる

他の方法としては順位相関がある

**局所的ランキング指標（local ranking metrics）**は、各ユーザーについてアイテムを個別に順位付けする方法。高評価アイテムが低評価アイテムよりも上位に順位付けされているかどうかを測定し、その後ユーザー間で平均を取る。

各ユーザーについて、予測したスコアでアイテムを降順に順位付けする。

上位K個のアイテムのうちの性のアイテムの部分集合

P@Kの平均が平均適合率になり、それをユーザーについて平均したものがmAPになる

順位 $k$ のアイテムにユーザー $i$ が正のレイティングを与えた場合 $p_i(k)=1$ で、そうでなければ $p_i(k)=0$ とする。

テストセットにおけるユーザー $i$ によって評価されたアイテム集合 $\mathcal{J}_i^{test}$ の要素数を $n_i$ としたとき

割引累積利得（DCG）を次のように定義する

DCG_i = p_i(1) + \sum^{n_i}_{k=2} \frac{p_i(k)}{\log_2 k}

nDCGはユーザー $i$ の最大DCGで正規化したDCGである

nDCG_i = \frac{DCG_i}{ 1 + \sum^{n_i^+}_{k=2} \frac{1}{\log_2 k} }

ここで $n_i^+$ は $\mathcal{J}_i^{test}$ におけるユーザー $i$ が正のレイティングをしたアイテム数

二値分類でない場合や二値分類に変換できない場合、平均順位相関を使用する