漸近理論

漸近理論#

確率収束#

（定義）確率収束

サンプル数\(n\)を無限大に近づけていったとき、確率変数列\(\{X_n\}_{n=1}^{\infty}\)が定数\(c\)から外れる確率がゼロに近づく、すなわち任意の\(\varepsilon>0\)について

\[ \lim_{n\to\infty} P(|X_n - c| > \varepsilon) = 0, \quad \forall\varepsilon > 0 \]

ならば、「\(X_n\)は\(c\)に確率収束（convergence in probability）する」といい

\[ \mathop{\mathrm{plim}}_{n\to\infty} X_n = c \]

あるいは

\[ X_n \overset{p}{\to} c , \quad (n\to\infty) \]

と表す

平均2乗収束#

（定義）平均2乗収束

確率変数列\(\{X_n\}_{n=1}^{\infty}\)が確率変数\(X\)に平均2乗収束するとは

\[ \lim_{n\to\infty} E[(X_n - X)^2] = 0 \]

となることをいう。

チェビシェフの不等式を使うと「確率変数列がある確率変数に平均2乗収束するならば確率収束する」という命題が導かれる → 大数の法則

チェビシェフの不等式

\(E[X] = \mu, \mathrm{Var}[X] = \sigma^2\)がいずれも有限な確率変数\(X\)を考える。

このとき任意の\(c>0\)に対して

\[ P(|X-\mu|\geq c) \leq \frac{\sigma^2}{c^2} \]

が成立する。

チェビシェフの不等式の証明

\(Y=(X-\mu)^2\)とおき、\(Y\)にマルコフの不等式

\[ P(X \geq c) \leq \frac{E[X]}{c} \]

を適用すれば、

\[ P(Y \geq c^2) \leq \frac{E[Y]}{c^2} = \frac{\sigma^2}{c^2} \]

ここで \(Y \geq c^2 \Longleftrightarrow|X-\mu| \geq c\) であるから \(P(Y \geq c^2) = P(|X - \mu| \geq c)\) となり

\[ P(|X-\mu|\geq c) \leq \frac{\sigma^2}{c^2} \]

が成立する

例：大数の法則#

（定理）大数の（弱）法則

\(X_1, \dots, X_n\)はi.i.d.で、\(E[|X_i|] < \infty\)とする。このとき、標本平均\(\bar{X}\)は\(\mu = E[X_i]\)に確率収束する

\[ \lim_{n\to\infty} P(|\bar{X} - \mu| > \varepsilon) = 0 \]
証明

\(\varepsilon > 0\)を任意の定数とする。\(E[\bar{X}_n] = \mu, \mathrm{Var}[\bar{X}_n] = \sigma^2/n\)であるから、\(\bar{X}\)にチェビシェフの不等式を適用すれば

\[ P(|\bar{X}_n-\mu| \geq \varepsilon) \leq \frac{\sigma^2}{n \varepsilon^2} \]

となる。ここで\(n \to \infty\)とおけば右辺は0に収束するから

\[ \forall \varepsilon > 0, \quad \lim_{n\to \infty} P(|\bar{X}_n-\mu| \geq \varepsilon) = 0 \]

例：推定量の一致性#

推定量\(\hat{\theta}\)が真のパラメータ\(\theta\)に確率収束

\[ \hat{\theta} \overset{p}{\to} \theta \]

するとき、その推定量は一致性（consistency）を持つという

概収束#

（定義）概収束

確率変数列\(\{X_n\}\)が確率変数\(X\)について

\[ P(\{\omega | \lim_{n\to\infty} |X_n(\omega) - X(\omega)| = 0\}) = 1 \]

となるとき概収束（almost sure convergence）するといい、

\[ X_n \to X \text{ a.s. } \]

と表す。

分布収束#

（定義）分布収束

確率変数列\(\{X_n\}\)が確率変数\(X\)に分布収束（convergence in distribution）するとは、

\[ \lim_{n\to\infty} P(X_n \leq x) = P(X\leq x) = F_X(x) \]

が\(F_X(x)\)のすべての連続な点で成り立つことをいい、\(X_n \overset{d}{\to} X\)と表す。

例：中心極限定理#

確率変数列\(\{X_n\}_{n=1}^{\infty}\)はi.i.d.で平均\(\mu:=E[X_i]\)と分散\(\sigma^2:=Var(X_i)\)が存在するとする。このとき、以下の分布収束が成り立つ

\[ \sqrt{n} (\bar{X} - \mu) \overset{d}{\to} N(0, \sigma^2) ,\hspace{1em} n\to\infty \]

ここで\(N(0, \sigma^2)\)を\(\bar{X}\)の漸近分布（asymptoticd distribution）という。

（※なお、\(N(0, \sigma^2)\)は正規分布を表す記号ではなく、正規分布に従う確率変数を意味するので注意。ややこしい記法だが標準的でよく見られる書き方である）

なお、上の式は

\[ \bar{X} - \mu \overset{d}{\to} \frac{1}{\sqrt{n}} N(0, \sigma^2) = N\left(0, \frac{\sigma^2}{n}\right) \]

のように整理できる。

（\(\sigma^2\)は未知だが標本分散を用いてもこの関係性が成り立つ）