検出力

検定での意思決定の誤り

検定の意思決定の誤り

母数空間\(\Theta\)が互いに排反な2つの部分集合\(\Theta_0, \Theta_1\)に分けられているとする。未知の母数\(\theta\)についての帰無仮説\(H_0\)と対立仮説\(H_1\)を以下のように表す。

\[ H_0: \theta \in \Theta_0 \text { vs } H_1: \theta \in \Theta_1 \]

帰無仮説を受容する意思決定を\(d=0\)、帰無仮説を棄却する決定を\(d=1\)と表すことにし、それらの集合（決定空間）は\(D=\{0, 1\}\)と表すことにする。

帰無仮説が正しいとき \((\theta \in \Theta_0)\) に帰無仮説を枼却する \((d=1)\) 誤りを 第1種の過誤（error of the first kind） や 偽陽性 とよぶ。また対立仮説が正しいとき \((\theta \in \Theta_1)\) に帰無仮説を受容する \((d=0)\) 誤りを 第2種の過誤（error of the second kind） や 偽陰性 とよぶ。

過誤まとめ

1. 第1種の過誤（type I error）

   • 帰無仮説が正しいのに帰無仮説を棄却してしまう誤り。

   • これを犯す確率が有意水準\(\alpha\)

2. 第2種の過誤（type II error）

   • 帰無仮説が正しくないのに帰無仮説を受容してしまう誤り。こちらは\(\beta\)で表される。

これら2種類の誤りを統一的に表現する関数が検出力関数

損失関数

実際には正しくない仮説を採択する意思決定をとったときを「損失」として表し、意思決定の損失関数を以下のような損失関数\(L(\theta, d)\)で表現することにする。

\[\begin{split} \begin{aligned} L(\theta, 0) &= \begin{cases} 0, & \text { if } \theta \in \Theta_0 \\ a, & \text { if } \theta \in \Theta_1 \end{cases} \\ L(\theta, 1) &= \begin{cases} 0, & \text { if } \theta \in \Theta_1 \\ b, & \text { if } \theta \in \Theta_0 \end{cases} \end{aligned} \end{split}\]

（※第1種の過誤を犯したとき\(a\)の損失が、第2種の過誤を犯したとき\(b\)の損失が得られるということ。）

単純に\(a=b=1\)とおいて0-1損失関数にしてもよいが、現実問題ではこの損失は非対称\(a\neq b\)の可能性も高い。

例えばWebサイトの改善のA/Bテストにおいて第1種の過誤は「帰無仮説が正しい（A案とB案に差がない）のに棄却してB案を採用する」であり、AとBに差がないため誤ってBを採用しても損失は少ないと考えられるが、第2種の過誤（AよりBのほうが優れているのにBを却下してAを使い続ける）は機会損失を招く

検出力関数

検定問題における決定関数 （検定関数 test function とよばれる） を\(\delta: \mathcal{X} \to D\)とおく。検定関数\(\delta\)は\(X=x\)を観測したとき帰無仮説を棄却するなら1、受容するなら0をとる関数。

損失関数の期待値である リスク関数 は \(R(\theta, \delta) = E_{\theta}[L(\theta, \delta(X))]\)と定義される。

ところで、

\[ \beta_\delta(\theta)=E_\theta[\delta(X)]=P_\theta(\delta(X)=1) \]

と定義すると、\(\delta\)のリスク関数は以下のように表すことができる。

\[\begin{split} R(\theta, \delta)= \begin{cases} \beta_\delta(\theta), & \text { if } \theta \in \Theta_0 & \text{ (=第1種の過誤の確率) } \\ 1-\beta_\delta(\theta), & \text { if } \theta \in \Theta_1 & \text{ (=第2種の過誤の確率) } \end{cases} \end{split}\]

\(\beta_\delta(\theta)\)を 検出力関数（power function） といい、その値を 検出力（power） という。

Note

\(R(\theta, \delta)\)の1行目は第1種の過誤の確率を意味する。実際には帰無仮説が正しい（\(\theta \in \Theta_0\)の）ときに\(d=\delta(X)=1\)なのが第1種の過誤なので。

\(R(\theta, \delta)\)の2行目は第2種の過誤の確率を意味する。実際には対立仮説が正しい（\(\theta \in \Theta_1\)の）ときに\(d=\delta(X)=0\)の確率\(1-\beta_\delta(\theta)\)なので。

例：不良率の検定

10個の製品を検査して、もし1個以上の不良品があれば帰無仮説 \(H_0: p \leq p_0\) を棄却するとする（なお \(p_0 = 0.01\)と想定する）

この場合の検定関数は

\[\begin{split} \delta(x) = \begin{cases} 1, & \text { if } x \geq 1 \\ 0, & \text { otherwise } \end{cases} \end{split}\]

となる。\(X\)は2項分布\(B(10, p)\)に従うと考えればよいので、検出力関数は

\[ \beta_\delta(p)=P(X \geq 1)=1-P(X=0)=1-(1-p)^{10} \]

で与えられる。\(p_0 = 0.01\)のとき\(\beta_\delta(p) = 1-(1-p)^{10} = 0.0956\)