ベイズ誤差

ベイズ誤差#

ベイズ誤差はその問題設定と関数集合のもとでの最小の（どうあがいてもそれ以上削減できない）誤差

定義

損失関数 \(\ell\) を定めたとき、任意の可測関数 \(h: \mathcal{X} \rightarrow \mathcal{Y}\) のもとでの予測損失の下限

\[ \inf _{h: \text { 可測 }} R(h) \]

を損失関数 \(\ell\) のもとでの ベイズ誤差（Bayes error） という。下限を達成する仮説が存在するとき、その仮説を ベイズ規則（Bayes rule） という。

条件付き期待値

\[ \mathbb{E}_Y[\ell(h(x), Y) \mid x] = \int_{\mathcal{Y}} \ell(h(x), y) ~ d P(y \mid x) \]

を用いると

\[ R(h)=\mathbb{E}_X [\mathbb{E}_Y[\ell(h(X), Y) \mid X]] \]

であるため、\(\mathbb{E}_Y[\ell(h(x), Y) \mid x]\)を最小にする仮説\(h\)を選べば予測誤差が最小になる

ベイズ誤差の推定#

Tumer, K., & Ghosh, J. (2003). Bayes error rate estimation using classifier ensembles. International Journal of Smart Engineering System Design, 5(2), 95-109.

利用例

Booking.comでMLモデルを作るとき「問題がどれくらい解けそうか」を事前に調査している。

その際は

  1. （推薦の場合）人気度順やランダムな推薦というbaselineに対してシンプルなMLモデルでどれだけ改善できるかを見る

  2. Tumer & Ghosh (2003)の方法でBayes errorを推定する

を使っているらしい（Bernardi et al., 2019）。

BN-BER#

Chen, Q., Cao, F., Xing, Y., & Liang, J. (2025). An efficient Bayes error rate estimation method. Machine Learning, 114(6), 1-25.

BN-BERの空間計算量は\(O(n^2)\)だったのを\(O(n (\log_2 n)^2 )\)へ改善

Ishida et al. 2022#

[2202.00395] Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification

  • 二値分類におけるディープネットワークのベイズ誤差を推定する

  • ソフトラベル（soft or uncertainty labels）の平均からBayes誤差を直接推定するシンプルな方法を提案。

  • 必要な情報はラベルの確率推定値のみで、モデルも学習もインスタンスの特徴量も一切不要（model- and instance-free）。

  • ハイパーパラメータがなく、 バイアスなく一貫性（consistent）のある推定量を構成できると理論的に示している

Contents