経験過程 - データサイエンス関連+αのメモ

Notation¶

$P$ ：可測空間 $(\mathcal{X}, \mathcal{B})$ における測度
$f: \mathcal{X} \mapsto \mathbb{R}^k$ ：可測関数
$Pf = \int f dP$
$E_P f(X_1)$ ：期待値。 $X_1$ は $P$ に従い分布する確率変数

経験過程¶

標本 $X_1,\dots,X_n$ の 経験測度（empirical measure） $\mathbb{P}_n$ は

\mathbb{P}_n f=\frac{1}{n} \sum_{i=1}^n f\left(X_i\right)

経験過程（empirical process） $\mathbb{G}_n$ は経験測度の中心化されスケールされたものであり、

\mathbb{G}_n f :=\sqrt{n}\left(\mathbb{P}_n f-P f\right)=\frac{1}{\sqrt{n}} \sum_{i=1}^n\left(f\left(X_i\right)-\mathrm{E}_P f\left(X_i\right)\right)

と定義される。

経験分布関数¶

分布関数 $F$ から得られた確率標本 $X_1,\dots,X_n$ があるとする。

経験分布関数 （empirical distribution function）は以下のように定義される。

\mathbb{F}_n(t)=\frac{1}{n} \sum_{i=1}^n 1 \{X_i \leq t\}

$n\mathbb{F}_n(t)$ は平均 $nF(t)$ で二項分布するため、この推定量は不偏である。また、大数の法則により一致性もある。

\mathbb{F}_n(t) \xrightarrow{\text { as }} F(t), \quad \text { every } t

中心極限定理により、漸近正規性をもつ。

\sqrt{n}\left(\mathbb{F}_n(t)-F(t)\right) \rightsquigarrow N \big(0, F(t)(1-F(t))\big)

Glivenko-Cantelli theorem¶

大数の法則を拡張し、一様収束（uniform convergence）することを示す。

まず、uniform distanceについて。経験分布のuniform distance

\left\|\mathbb{F}_n-F\right\|_{\infty}=\sup _t\left|\mathbb{F}_n(t)-F(t)\right|

はKolmogorov-Smirnov統計量として知られている。

Donsker定理¶

i.i.d. でない系列にも適用できるよう一般化した中心極限定理。

$\mathbb{G}_F$ は $F$ -ブラウン橋（F-Brownian bridge）過程として知られる

参考文献¶