大数の法則#

大数の弱法則

確率変数$X_1,X_2,\dots ,X_n$が互いに独立に分布関数$F$に従うとする。また、$E[X_i]=\mu ,\mathrm{Var}[X_i]={\sigma }^2$が存在するものとする。

$n\to \mathrm{\infty }$のとき、標本平均${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$が母平均$\mu$に収束する

$$\overline{X}\stackrel{p}{\to }E[X]=\mu ,(n\to \mathrm{\infty })$$

これは 大数の弱法則 （weak law of large numbers）あるいは単に 大数の法則 と呼ばれる

証明の前提知識#

マルコフの不等式

$X$を非負の確率変数$X\ge 0$とし、$E[X]<\mathrm{\infty }$とする。このとき任意の$c>0$に対して

$$P(X\ge c)\le \frac{E[X]}{c}$$

が成立する。

証明

いま$Y$を

$$\begin{array}{r}Y=\{\begin{array}{ll}0,& \text{ if }X<c\\ c,& \text{ if }X\ge c\end{array}\end{array}$$

と定義する。このとき常に$Y\le X$である。したがって$E[Y]\le E[X]$である。

$$\begin{array}{r}\begin{array}{rl}E[Y]& =0\times P(Y=0)+c\times P(Y=c)\\ & =cP(X\le c)\end{array}\end{array}$$

であるから$E[Y]\le E[X]$は

$$cP(X\ge c)\le E[X]$$

となる。$c$で両辺を割れば

$$P(X\ge c)\le \frac{E[X]}{c}$$

チェビシェフの不等式

$E[X]=\mu ,\mathrm{Var}[X]={\sigma }^2$がいずれも有限な確率変数$X$を考える。（こちらは非負の確率変数に限らない）

このとき任意の$c>0$に対して

$$P(|X-\mu |\ge c)\le \frac{{\sigma }^2}{c^2}$$

が成立する。

証明

$Y=(X-\mu {)}^2$とおき、$Y$にマルコフの不等式を適用すれば、

$$P(Y\ge c^2)\le \frac{E[Y]}{c^2}=\frac{{\sigma }^2}{c^2}$$

ここで

$$Y\ge c^2⟺|X-\mu |\ge c$$

であるから

$$P(Y\ge c^2)=P(|X-\mu |\ge c)$$

となり

$$P(|X-\mu |\ge c)\le \frac{{\sigma }^2}{c^2}$$

が成立する

証明#

$\epsilon >0$を任意の定数とする。$E[{\overline{X}}_n]=\mu ,\mathrm{Var}[{\overline{X}}_n]={\sigma }^2/n$であるから、$\overline{X}$にチェビシェフの不等式を適用すれば

$$P(|{\overline{X}}_n-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{n{\epsilon }^2}$$

となる。ここで$n\to \mathrm{\infty }$とおけば右辺は0に収束するから

$$\mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}P(|{\overline{X}}_n-\mu |\ge \epsilon )=0$$

よって

$$\overline{X}\stackrel{p}{\to }\mu ,(n\to \mathrm{\infty })$$