時系列データにおけるモデル評価のためのデータ分割法

分割手法

プリクエンシャルブロック法

TimeSeriesSplit のような1つのブロックをtestにしてそれ以前をtrainにする方法を プリクエンシャルブロック法 というらしい。

繰り返しホールドアウト法

（時系列を考慮して分けた）ホールドアウト法の分割点をランダムに変えて繰り返す方法

より網羅的なまとめは

時系列データの交差検証(クロスバリデーション)は交差検証とはいえないし、良い方法でもないらしい

を参照

プリクエンシャルブロック法はよくない？

プリクエンシャルブロック法、つまりネット上でよく「時系列予測モデルの交差検証法」として紹介される方法は、誤差の推定方法としてあまり良くない。

時系列データの交差検証(クロスバリデーション)は交差検証とはいえないし、良い方法でもないらしい

Cerqueira et al. (2020)の実験ではプリクエンシャル法はいいパフォーマンスではなかったとのこと。

Cerqueira et al. (2020)

Cerqueira, V., Torgo, L., & Mozetič, I. (2020). Evaluating time series forecasting models: An empirical study on performance estimation methods. Machine Learning, 109(11), 1997-2028.

しかし、Cerqueira et al. (2020) では 未来のデータ全体 (理論上は、無限に先の未来まで) の汎化性能を推定することが焦点 となっている。実運用上、例えば毎月や毎週モデルを学習し直していて、学習し直しまでの間の1期間だけ短期的にパフォーマンスが良ければいい、というケースも存在する。その場合はプリクエンシャルブロック法でも良さそう。