経験過程

経験過程#

Notation#

$P$ ：可測空間 $(X, B)$ における測度
$f : X \mapsto R^{k}$ ：可測関数
$P f = \int f d P$
$E_{P} f (X_{1})$ ：期待値。 $X_{1}$ は $P$ に従い分布する確率変数

経験過程#

標本 $X_{1}, \dots, X_{n}$ の 経験測度（empirical measure） $P_{n}$ は

P_{n} f = \frac{1}{n} \sum_{i = 1}^{n} f (X_{i})

経験過程（empirical process） $G_{n}$ は経験測度の中心化されスケールされたものであり、

G_{n} f := \sqrt{n} (P_{n} f - P f) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (f (X_{i}) - E_{P} f (X_{i}))

と定義される。

経験分布関数#

分布関数 $F$ から得られた確率標本 $X_{1}, \dots, X_{n}$ があるとする。

経験分布関数 （empirical distribution function）は以下のように定義される。

F_{n} (t) = \frac{1}{n} \sum_{i = 1}^{n} 1 {X_{i} \leq t}

$n F_{n} (t)$ は平均 $n F (t)$ で二項分布するため、この推定量は不偏である。また、大数の法則により一致性もある。

F_{n} (t) \overset{as}{\to} F (t), every t

中心極限定理により、漸近正規性をもつ。

\sqrt{n} (F_{n} (t) - F (t)) ⇝ N (0, F (t) (1 - F (t)))

Glivenko-Cantelli theorem#

大数の法則を拡張し、一様収束（uniform convergence）することを示す。

まず、uniform distanceについて。経験分布のuniform distance

{‖ F_{n} - F ‖}_{\infty} = sup_{t} | F_{n} (t) - F (t) |

はKolmogorov-Smirnov統計量として知られている。

定理（Glivenko-Cantelli）

$X_{1}, X_{2}, \dots,$ が分布関数 $F$ に従うi.i.d.の確率変数であるとき、

{‖ F_{n} - F ‖}_{\infty} \overset{as}{\to} 0

Donsker定理#

i.i.d. でない系列にも適用できるよう一般化した中心極限定理。

定理（Donsker）

$X_{1}, X_{2}, \dots,$ が分布関数 $F$ に従うi.i.d.の確率変数であるとき、

経験過程の列 $\sqrt{n} (F_{n} - F)$ は空間 $D [- \infty, \infty]$ におけるタイトな確率要素（random element） $G_{F}$ に分布収束し、その周辺分布は平均が0で共分散関数が ${EG}_{F} (t_{i}) G_{F} (t_{j}) = F (t_{i} \land t_{j}) - F (t_{i}) F (t_{j})$ である正規分布になる

$G_{F}$ は $F$ -ブラウン橋（F-Brownian bridge）過程として知られる

超一般化中心極限定理

Donsker定理をさらに一般化したものも提案されている様子

なぜ世界は「べき則」であらわされるのか－ビッグデータの新しい統計法則の発見－ | 京都大学

経験過程

Contents

経験過程#

Notation#

経験過程#

経験分布関数#

Glivenko-Cantelli theorem#

Donsker定理#

参考文献#