大数の法則

大数の弱法則

確率変数\(X_1,X_2,\dots,X_n\)が互いに独立に分布関数\(F\)に従うとする。また、\(E[X_i]=\mu, \mathrm{Var}[X_i]=\sigma^2\)が存在するものとする。

\(n\to\infty\)のとき、標本平均\(\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i\)が母平均\(\mu\)に収束する

\[ \bar{X} \overset{p}{\to} E[X] = \mu, \quad (n \to \infty) \]

これは 大数の弱法則 （weak law of large numbers）あるいは単に 大数の法則 と呼ばれる

証明の前提知識

マルコフの不等式

\(X\)を非負の確率変数\(X\geq 0\)とし、\(E[X]<\infty\)とする。このとき任意の\(c>0\)に対して

\[ P(X \geq c) \leq \frac{E[X]}{c} \]

が成立する。

証明

いま\(Y\)を

\[\begin{split} Y= \begin{cases} 0, & \text { if } X<c \\ c, & \text { if } X \geq c \end{cases} \end{split}\]

と定義する。このとき常に\(Y\leq X\)である。したがって\(E[Y]\leq E[X]\)である。

\[\begin{split} \begin{align} E[Y] &= 0\times P(Y=0) + c \times P(Y=c)\\ &=cP(X\leq c) \end{align} \end{split}\]

であるから\(E[Y]\leq E[X]\)は

\[ cP(X\geq c) \leq E[X] \]

となる。\(c\)で両辺を割れば

\[ P(X \geq c) \leq \frac{E[X]}{c} \]

チェビシェフの不等式

\(E[X] = \mu, \mathrm{Var}[X] = \sigma^2\)がいずれも有限な確率変数\(X\)を考える。（こちらは非負の確率変数に限らない）

このとき任意の\(c>0\)に対して

\[ P(|X-\mu|\geq c) \leq \frac{\sigma^2}{c^2} \]

が成立する。

証明

\(Y=(X-\mu)^2\)とおき、\(Y\)にマルコフの不等式を適用すれば、

\[ P(Y \geq c^2) \leq \frac{E[Y]}{c^2} = \frac{\sigma^2}{c^2} \]

ここで

\[ Y \geq c^2 \Longleftrightarrow|X-\mu| \geq c \]

であるから

\[ P(Y \geq c^2) = P(|X - \mu| \geq c) \]

となり

\[ P(|X-\mu|\geq c) \leq \frac{\sigma^2}{c^2} \]

が成立する

証明

\(\varepsilon > 0\)を任意の定数とする。\(E[\bar{X}_n] = \mu, \mathrm{Var}[\bar{X}_n] = \sigma^2/n\)であるから、\(\bar{X}\)にチェビシェフの不等式を適用すれば

\[ P(|\bar{X}_n-\mu| \geq \varepsilon) \leq \frac{\sigma^2}{n \varepsilon^2} \]

となる。ここで\(n \to \infty\)とおけば右辺は0に収束するから

\[ \forall \varepsilon > 0, \quad \lim_{n\to \infty} P(|\bar{X}_n-\mu| \geq \varepsilon) = 0 \]

よって

\[ \bar{X} \overset{p}{\to} \mu, \quad (n \to \infty) \]