汎化誤差 - データサイエンス関連+αのメモ

様々な誤差の指標¶

訓練データ $\mathcal{T} = \{(x_i, y_i)\}_{i=1}^n$ の下で、新しいデータ点 $(X^0, Y^0)$ でのモデル $\hat{f}$ の誤差の期待値をとったもの

\text{GE} = E_{X^0, Y^0} [ L(Y^0, \hat{f}(X^0) ) | \mathcal{T} ]

は**真の誤差（true error）あるいは汎化誤差（generatization error）**あるいはextra-sample errorと呼ばれる

訓練セットで汎化誤差の期待値をとった

\text{EE} = E_{\mathcal{T}}E_{X^0, Y^0} [ L(Y^0, \hat{f}(X^0) ) | \mathcal{T} ]

を**期待誤差（expected error）**という。

期待誤差のほうが統計的に扱いやすい

訓練データで誤差の平均値をとったもの

\text{TE} = \frac{1}{N} \sum^N_{i=1} L(y_i, \hat{f}(x_i))

を**訓練誤差（training error）あるいは再代入誤り率（resubstitution error）**という。

訓練誤差は汎化誤差以下になることが知られている

はじパタによれば、再代入誤り率 $TE$ と $HoldOutError$ と真の誤差 $GE$ の間には

E_{D_L}[TE] \leq GE \leq E_{D_T}[HoldOutError]

の関係性があるとされる（ここで $E_{D_L}[]$ は多数の訓練データで計算して期待値をとったもの、 $E_{D_T}[]$ は訓練データは1つで多数のテストデータで期待値を摂ったもの）

Conditional Error

Hold out

Cross Validation

Catoni bound

訓練誤差ベースの汎化誤差上界は実験してみると100%近くの意味のない値になることも多い[2012.04115] Generalization bounds for deep learning

テスト用データを使って汎化誤差上界を計算したもの

ノイズ耐性と汎化性能は相関する

そこでノイズ付加汎化誤差上界を計算するアプローチがある