削減不能な誤差の推定#

バイアス‐バリアンス分解#

定理

目的変数$Y$が回帰関数$f(X)$と誤差$\epsilon$によって分解できる、すなわち$Y=f(X)+\epsilon$であるとする。ここで$\mathrm{E}(\epsilon )=0,\mathrm{Var}(\epsilon )={\sigma }_{\epsilon }^2$である。

入力点$X=x_0$における学習した回帰関数$\hat{f}(X)$の二乗誤差の期待値は、 削減不能な誤差 (irreducible error) 、 バイアス（Bias） の二乗、 バリアンス（Variance） に分解できる。

証明

$$\begin{array}{r}\begin{array}{rl}\mathrm{Err}\left(x_0\right)& =\mathrm{E}[{(Y-\hat{f}\left(x_0\right))}^2\mid X=x_0]\\ & ={\sigma }_{\epsilon }^2+{[\mathrm{E}\hat{f}\left(x_0\right)-f\left(x_0\right)]}^2+E{[\hat{f}\left(x_0\right)-\mathrm{E}\hat{f}\left(x_0\right)]}^2\\ & ={\sigma }_{\epsilon }^2+{\mathrm{Bias}}^2\left(\hat{f}\left(x_0\right)\right)+\mathrm{Var}\left(\hat{f}\left(x_0\right)\right)\\ & =\text{ Irreducible Error }+{\mathrm{Bias}}^2+\text{ Variance. }\end{array}\end{array}$$

もし、現状のデータとモデルではそれ以上誤差を削減させられないなら、モデルのフィッティングを頑張るよりも特徴量を増やす努力をしたほうがよいかもしれない。

削減不能な誤差の推定#

削減不能な誤差をどう推定するか？

• Liitiäinen, E., Corona, F., & Lendasse, A. (2008). On nonparametric residual variance estimation. Neural Processing Letters, 28, 155-167.

• Devroye, L., Györfi, L., Lugosi, G., & Walk, H. (2018). A nearest neighbor estimate of the residual variance. Electronic Journal of Statistics, 12, 1752-1778.