感度分析

感度分析（sensitivity analysis）はモデルにさまざまなデータを入力し、推定した因果効果についての妥当性を評価する方法。

入力を変化させたときの出力の変化の「方向（正負）」と「度合い（強さ）」を測る。

手法

Rosenbaum bound（Rosenbaum 2002）は結果変数が二値で、未観測の交絡因子が1次元かつ\([0, 1]\)の範囲の値をとる場合の感度分析

• Rosenbaum Bounds

部分決定係数（Partial R2, Imbens 2003）は線形回帰モデルの欠落変数バイアスを測る。

• 部分決定係数（partial R2）

• Partial R2は未観測の交絡因子が1つの場合を想定しているが、多次元に拡張した手法もある

Austen plot（Veitch & Zaveri, 2020）はPartial R2を非線形モデル（機械学習など）でも使えるように拡張したような手法

• Austen plot

E-value（VanderWeele & Ding, 2017）はリスク比のように比率で効果を測るときの感度分析で、モデルに依存せず、「観測された関連性（処置群と対照群の結果のリスク比）がすべて交絡因子のせいだとしたら、その交絡因子はどれだけ強い関連性（リスク比）をもつのか」を評価するシンプルで使いやすい指標。

• E-value

企業での利用例

Uberの事例

Uberの因果推論フレームワークCeViChEにおいて感度分析を行っている

主に

• プラセボテスト

• 関係のない交絡因子の追加・置換

• サブセットデータを用いた検証

• 選択バイアスの検証

を行って多角的に感度分析している

参考文献

(Share) KDD2021 Case Study #1 Causal Impact Analysis - CeViChE - Google スライド

Spotifyでの事例

Zeitler, J., Vlontzos, A., & Gilligan-Lee, C. M. (2023, August). Non-parametric identifiability and sensitivity analysis of synthetic control models. In Conference on Causal Learning and Reasoning (pp. 850-865). PMLR.

タイトルの通り、Synthetic Controlの感度分析

著者のうちのVlontzosはSpotifyの人

Booking.comでの事例

KDD 2024 Workshop で出てきた発表

• slides

• paper: Sensitivity Analysis for Causal ML: A Use Case at Booking. com.

• DoubleMLのドキュメントにコードが有る Example: Sensitivity Analysis for Causal ML — DoubleML documentation

機械学習を利用した感度分析1：Veitch & Zaveri (2020)

Veitch & Zaveri (2020)は機械学習を用いた感度分析を提案した

長所は

1. 未観測の交絡因子が1つでも複数でも対応可能

2. 非線形モデルにも対応可能

短所は

1. 大体の傾向しか出せない

2. サンプル数が小さいと精度が低い

実装

• anishazaveri/austen_plots

参考文献

• Veitch, V., & Zaveri, A. (2020). Sense and sensitivity analysis: Simple post-hoc analysis of bias due to unobserved confounding. Advances in neural information processing systems, 33, 10999-11009.

• <論文要約> Sense and Sensitivity Analysis: Simple Post-Hoc Analysis of Bias Due to Unobserved Confounding (NeurIPS2020) - 名前はまだない

機械学習を利用した感度分析2：Chernozhukov, et al. (2022)

Chernozhukov, et al. (2022)は部分線形モデル（DML）の感度分析を提案

DoWhy documentation が概要の解説と実装の両面で参考になる

参考文献

• Chernozhukov, V., Cinelli, C., Newey, W., Sharma, A., & Syrgkanis, V. (2022). Long story short: Omitted variable bias in causal machine learning (No. w30302). National Bureau of Economic Research.

• Sensitivity analysis for non-parametric causal estimators — DoWhy documentation

Semiparametric

Semiparametric sensitivity analysis: unmeasured confounding in observational studies | Biometrics | Oxford Academic