予測モデルの評価#
様々な誤差の指標#
汎化誤差#
訓練データ\(\mathcal{T} = \{(x_i, y_i)\}_{i=1}^n\)のもとでのモデル\(\hat{f}\)の**真の誤差（true error）あるいは汎化誤差（generatization error）**とは、真の分布で誤差関数の期待値をとったもの
\[
\text{GE}
= E_{X^0, Y^0} [ L(Y^0, \hat{f}(X^0) ) | \mathcal{T} ]
\]
ここで\((X^0, Y^0)\)は新しいデータ点。
期待誤差#
訓練セットで汎化誤差の期待値をとった
\[
\text{EE} = E_{\mathcal{T}}E_{X^0, Y^0} [ L(Y^0, \hat{f}(X^0) ) | \mathcal{T} ]
\]
を**期待誤差（expected error）**という。
期待誤差のほうが統計的に扱いやすい
訓練誤差#
訓練データで誤差の平均値をとったもの
\[
\text{TE} = \frac{1}{N} \sum^N_{i=1} L(y_i, \hat{f}(x_i))
\]
を**訓練誤差（training error）あるいは再代入誤り率（redistribution error）**という。
訓練誤差は汎化誤差以下になることが知られている
参考#
カステラ本 ch7.4