因果探索の精度指標#
人工データで実験する場合は真のDAGがわかるため、真のDAGと推定したDAGとの一致具合を定量評価するための指標が提案されている。
まとめ#
基礎概念#
真陽性（True Positive: TP）： 正しい方向で推定されたエッジ
真陰性（True Negative: TN）： 推定したグラフにも真のグラフにも存在しないエッジ
偽陽性（False Positive: FP）： 推定したグラフにはあるが真のグラフには存在しないエッジ
偽陰性（False Negative: FN）： 推定したグラフにはないが真のグラフには存在するエッジ
名称 |
定義 |
|---|---|
真陽性率 (True Positive Rate: TPR) |
\(\dfrac{TP}{TP + FN}\) |
偽陽性率 (False Positive Rate: FPR) |
\(\dfrac{\text{reverse} + FP}{TN + FP}\) |
適合率 (Precision) |
\(\dfrac{TP}{TP + FP}\) |
再現率 (Recall) |
\(\dfrac{TP}{TP + FN}\) |
F1 Score |
\(2 \times \dfrac{\text{適合率} \times \text{再現率}}{\text{適合率} + \text{再現率}}\) |
偽発見率 (False Discovery Rate: FDR) |
\(\dfrac{\text{reverse} + FP}{TP + FP}\) |
誤りの総数 (No. of Non-Negative Entries: NNZ) |
\(TP + FP\) |
構造ハミング距離 (Structural Hamming Distance: SHD) |
不正確なエッジの数を合計したもの。小さいほど正解に近くなる指標 |
G-Score |
\(\dfrac{TP - FP}{TP + FN}\) もしくは \(0\) のうち最大値の大きいほう |
構造ハミング距離#
不正解のエッジの数を合計したもの。
具体的には、
余分なエッジ
欠落したエッジ
誤った方向のエッジ
の合計
G-Score#
TPからFPを引いた数と0の最大値を正例の数（TP+FN）で割ったもの。
FPが多いと分子が減る → G-Scoreは誤検出（FP）へのペナルティをかけているペナルティつきRecall