汎化誤差

様々な誤差の指標

汎化誤差

訓練データ\(\mathcal{T} = \{(x_i, y_i)\}_{i=1}^n\)の下で、新しいデータ点\((X^0, Y^0)\)でのモデル\(\hat{f}\)の誤差の期待値をとったもの

\[ \text{GE} = E_{X^0, Y^0} [ L(Y^0, \hat{f}(X^0) ) | \mathcal{T} ] \]

は**真の誤差（true error）あるいは汎化誤差（generatization error）**あるいはextra-sample errorと呼ばれる

期待誤差

訓練セットで汎化誤差の期待値をとった

\[ \text{EE} = E_{\mathcal{T}}E_{X^0, Y^0} [ L(Y^0, \hat{f}(X^0) ) | \mathcal{T} ] \]

を**期待誤差（expected error）**という。

期待誤差のほうが統計的に扱いやすい

訓練誤差

訓練データで誤差の平均値をとったもの

\[ \text{TE} = \frac{1}{N} \sum^N_{i=1} L(y_i, \hat{f}(x_i)) \]

を**訓練誤差（training error）あるいは再代入誤り率（resubstitution error）**という。

訓練誤差は汎化誤差以下になることが知られている

はじパタによれば、再代入誤り率\(TE\)と\(HoldOutError\)と真の誤差\(GE\)の間には

\[ E_{D_L}[TE] \leq GE \leq E_{D_T}[HoldOutError] \]

の関係性があるとされる（ここで\(E_{D_L}[]\)は多数の訓練データで計算して期待値をとったもの、\(E_{D_T}[]\)は訓練データは1つで多数のテストデータで期待値を摂ったもの）

Conditional Error

汎化誤差

目的変数\(Y\)、訓練済みモデル\(\hat{f}(X)\)、誤差関数\(L(Y, \hat{f}(X))\)について期待値をとったもの

\[ E[L(Y, \hat{f}(X))] \]

を汎化誤差という（厳密にはY,Xの同時分布での期待値）

汎化誤差の推定

Hold out

Cross Validation

汎化誤差上界

Chernoff bound

PAC-Bayesian bound

Catoni bound

[2110.11216] User-friendly introduction to PAC-Bayes bounds

訓練誤差ベース

訓練誤差ベースの汎化誤差上界は実験してみると100%近くの意味のない値になることも多い[2012.04115] Generalization bounds for deep learning

テスト誤差ベース

テスト用データを使って汎化誤差上界を計算したもの

ノイズ付加

ノイズ耐性と汎化性能は相関する

そこでノイズ付加汎化誤差上界を計算するアプローチがある