交差検証

概要¶

交差検証（cross-validation）は予測モデルの汎化誤差を推定する方法のひとつで、データセットを訓練セットとテストセットに重複なく分割して評価することを複数回繰り返す方法。k-fold CVやLOOCV（leave one out cross validation: 一つ抜き交差検証法）などがある。

CVの性質¶

Bates, S., Hastie, T., & Tibshirani, R. (2023). Cross-validation: what does it estimate and how well does it do it?. Journal of the American Statistical Association, 1-12.

5x2 cross-validation¶

Raschka, S. (2018). Model evaluation, model selection, and algorithm selection in machine learning. arXiv preprint arXiv:1811.12808.

• 様々な評価方法をまとめている

• データが小さいときはF-test 5x2 cross-validationとnested cross-validationを推奨している