因果探索の精度指標 - データサイエンス関連+αのメモ

人工データで実験する場合は真のDAGがわかるため、真のDAGと推定したDAGとの一致具合を定量評価するための指標が提案されている。

まとめ¶

名称	定義
真陽性率 (True Positive Rate: TPR)	$\dfrac{TP}{TP + FN}$
偽陽性率 (False Positive Rate: FPR)	$\dfrac{\text{reverse} + FP}{TN + FP}$
適合率 (Precision)	$\dfrac{TP}{TP + FP}$
再現率 (Recall)	$\dfrac{TP}{TP + FN}$
F1 Score	$2 \times \dfrac{\text{適合率} \times \text{再現率}}{\text{適合率} + \text{再現率}}$
偽発見率 (False Discovery Rate: FDR)	$\dfrac{\text{reverse} + FP}{TP + FP}$
誤りの総数 (No. of Non-Negative Entries: NNZ)	$TP + FP$
構造ハミング距離 (Structural Hamming Distance: SHD)	不正確なエッジの数を合計したもの。小さいほど正解に近くなる指標
G-Score	$\dfrac{TP - FP}{TP + FN}$ もしくは 0 のうち最大値の大きいほう

不正解のエッジの数を合計したもの。

具体的には、

の合計

TPからFPを引いた数と0の最大値を正例の数（TP+FN）で割ったもの。

\mathrm{G-Score} = \frac{\max\big(0, (TP-FP)\big)}{TP+FN}

FPが多いと分子が減る → G-Scoreは誤検出（FP）へのペナルティをかけているペナルティつきRecall