A/B Tests

サンプルサイズ

ABテストのサンプルサイズの計算 - 高精度計算サイト

False Positives in A/B Tests.

Kohavi, R., & Chen, N. (2024, August). False Positives in A/B Tests. In Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (pp. 5240-5250).

カバ本の著者がKDD2024で発表したもの。

大企業は1営業日に100個を超える実験をしていたりするが、多くのA/Bテストは有意な改善を見せない。 それほどの僅かな改善率の大量の実験は、偽陽性の可能性が高い。