汎化誤差#
様々な誤差の指標#
汎化誤差#
訓練データ\(\mathcal{T} = \{(x_i, y_i)\}_{i=1}^n\)の下で、新しいデータ点\((X^0, Y^0)\)でのモデル\(\hat{f}\)の誤差の期待値をとったもの
\[
\text{GE}
= E_{X^0, Y^0} [ L(Y^0, \hat{f}(X^0) ) | \mathcal{T} ]
\]
は**真の誤差（true error）あるいは汎化誤差（generatization error）**あるいはextra-sample errorと呼ばれる
期待誤差#
訓練セットで汎化誤差の期待値をとった
\[
\text{EE} = E_{\mathcal{T}}E_{X^0, Y^0} [ L(Y^0, \hat{f}(X^0) ) | \mathcal{T} ]
\]
を**期待誤差（expected error）**という。
期待誤差のほうが統計的に扱いやすい
訓練誤差#
訓練データで誤差の平均値をとったもの
\[
\text{TE} = \frac{1}{N} \sum^N_{i=1} L(y_i, \hat{f}(x_i))
\]
を**訓練誤差（training error）あるいは再代入誤り率（resubstitution error）**という。
訓練誤差は汎化誤差以下になることが知られている
はじパタによれば、再代入誤り率\(TE\)と\(HoldOutError\)と真の誤差\(GE\)の間には
\[
E_{D_L}[TE] \leq GE \leq E_{D_T}[HoldOutError]
\]
の関係性があるとされる（ここで\(E_{D_L}[]\)は多数の訓練データで計算して期待値をとったもの、\(E_{D_T}[]\)は訓練データは1つで多数のテストデータで期待値を摂ったもの）
Conditional Error
汎化誤差の推定#
Hold out
Cross Validation
汎化誤差上界#
Chernoff bound#
PAC-Bayesian bound#
Catoni bound
訓練誤差ベース#
訓練誤差ベースの汎化誤差上界は実験してみると100%近くの意味のない値になることも多い[2012.04115] Generalization bounds for deep learning
テスト誤差ベース#
テスト用データを使って汎化誤差上界を計算したもの
ノイズ付加#
ノイズ耐性と汎化性能は相関する
そこでノイズ付加汎化誤差上界を計算するアプローチがある