A/B Tests - データサイエンス関連+αのメモ

サンプルサイズ¶

ABテストのサンプルサイズの計算 - 高精度計算サイト

False Positives in A/B Tests.¶

Kohavi, R., & Chen, N. (2024, August). False Positives in A/B Tests. In Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (pp. 5240-5250).

カバ本の著者がKDD2024で発表したもの。

大企業は1営業日に100個を超える実験をしていたりするが、多くのA/Bテストは有意な改善を見せない。それほどの僅かな改善率の大量の実験は、偽陽性の可能性が高い。

References¶

Kohavi, R., & Chen, N. (2024). False Positives in A/B Tests. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 5240–5250. 10.1145/3637528.3671631