汎化誤差#

訓練データ$\mathcal{T}=\{(x_i,y_i){\}}_{i=1}^n$のもとでのモデル$\hat{f}$の**真の誤差（true error）あるいは汎化誤差（generatization error）**とは、真の分布で誤差関数の期待値をとったもの

ここで$(X^0,Y^0)$は新しいデータ点。

期待誤差#

訓練セットで汎化誤差の期待値をとった

を**期待誤差（expected error）**という。

期待誤差のほうが統計的に扱いやすい

訓練誤差#

訓練データで誤差の平均値をとったもの

を**訓練誤差（training error）あるいは再代入誤り率（redistribution error）**という。

訓練誤差は汎化誤差以下になることが知られている