標本分布

標本分布#

統計量の確率分布#

統計的性質を分析したい対象を母集団（population）といい、調査等により母集団から得られたデータを標本（sample）という。

統計的推測では母集団の平均（母平均） $μ$ や分散（母分散） $σ^{2}$ といった母数（population parameter）を標本に基づいて推定する。

標本から得られた平均や分散

\begin{array}{r} \begin{aligned} \bar{X} & = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \\ S^{2} & = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2} \end{aligned} \end{array}

はそれぞれ標本平均（sample mean）や標本分散（sample variance）と呼ばれる。

標本平均のような、標本に基づいた関数で母数を含んでないものを統計量（statistics）といい、その確率分布を標本分布（sampling distribution）という。

母数の推定のためには統計量がどのようにばらつくか等の標本分布の性質が利用される。

平均が $μ$ 、分散が $σ^{2}$ の確率分布を母集団とする独立同分布から得られたランダム・サンプルを

X_{1}, \dots, X_{n}, i . i . d . \sim (μ, σ^{2})

と書くことにする。

$E [X_{i}] = μ, V [X_{i}] = σ^{2}$ を用いて、標本平均 $\bar{X}$ の平均と分散を計算すると

\begin{array}{r} \begin{aligned} E [\bar{X}] & = \frac{1}{n} \sum_{i = 1}^{n} E [X_{i}] = \frac{1}{n} \sum_{i = 1}^{n} μ = μ \\ V [\bar{X}] & = \frac{1}{n^{2}} \sum_{i = 1}^{n} V [X_{i}] = \frac{σ^{2}}{n} \end{aligned} \end{array}

となる。

線形結合の平均・分散

定数 $a_{1}, \dots, a_{k}$ による線形結合 $\sum_{i = 1}^{k} a_{i} X_{i}$ を考えると、平均は

E [\sum_{i = 1}^{k} a_{i} X_{i}] = \sum_{i = 1}^{k} a_{i} E [X_{i}] = \sum_{i = 1}^{k} a_{i} μ_{i}

分散は

\begin{array}{r} \begin{aligned} V [\sum_{i = 1}^{k} a_{i} X_{i}] & = E [{\sum_{i = 1}^{k} a_{i} (X_{i} - μ_{i})}^{2}] \\ = E [\sum_{i = 1}^{k} {a_{i} (X_{i} - μ_{i})}^{2} + \sum_{i = 1}^{k} \sum_{j = i + 1}^{k} a_{i} a_{j} (X_{i} - μ_{i}) (X_{j} - μ_{j})] \\ = \sum_{i = 1}^{k} a_{i}^{2} E [(X_{i} - μ_{i})^{2}] + 2 \sum_{i = 1}^{k} \sum_{j = i + 1}^{k} a_{i} a_{j} E [(X_{i} - μ_{i}) (X_{j} - μ_{j})] \\ = \sum_{i = 1}^{k} a_{i}^{2} σ_{i i} + 2 \sum_{i = 1}^{k} \sum_{j = i + 1}^{k} a_{i} a_{j} σ_{i j} \end{aligned} \end{array}

であり、 $X_{1}, \dots, X_{n}$ が互いに独立であれば共分散 $σ_{i j}$ はゼロになるため

V [\sum_{i = 1}^{k} a_{i} X_{i}] = \sum_{i = 1}^{k} a_{i}^{2} σ_{i i}

となる。

これらの線形結合の定数 $a_{i}$ を $1 / n$ に置き換えれば上記の標本分布の平均や分散の式になる。

（参考）和の二乗の展開

\begin{array}{r} \begin{aligned} (x_{1} + x_{2} + x_{3})^{2} & = x_{1}^{2} + x_{2}^{2} + x_{3}^{2} + 2 (x_{1} x_{2} + x_{1} x_{3} + x_{2} x_{3}) \\ = \sum_{i = 1}^{n} x_{i}^{2} + 2 \sum_{i = 1}^{n} \sum_{j = i + 1}^{n} x_{i} x_{j} \end{aligned} \end{array}

なので

(x_{1} + \dots + x_{n})^{2} = (\sum_{i = 1}^{n} x_{i})^{2} = \sum_{i = 1}^{n} x_{i}^{2} + 2 \sum_{i = 1}^{n} \sum_{j = i + 1}^{n} x_{i} x_{j}

不偏分散#

なお、 $\bar{X}$ は期待値をとると $μ$ になるが、 $S^{2}$ の期待値は $σ^{2}$ にはならない。

$X_{i} - \bar{X} = X_{i} - μ - (\bar{X} - μ)$ と代入すると、

\begin{array}{r} \begin{aligned} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2} & = \sum_{i = 1}^{n} [(X_{i} - μ) - (\bar{X} - μ)]^{2} \\ = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 \sum_{i = 1}^{n} (X_{i} - μ) (\bar{X} - μ) + \sum_{i = 1}^{n} (\bar{X} - μ)^{2} \\ = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 (\bar{X} - μ) \sum_{i = 1}^{n} (X_{i} - μ) + n (\bar{X} - μ)^{2} \\ (∵ \bar{X} と μ は 定 数 の た め \sum の 外 に 出 せ る) \\ = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 (\bar{X} - μ) (n \bar{X} - n μ) + n (\bar{X} - μ)^{2} \\ (∵ \bar{X} = \frac{1}{n} \sum X_{i} な の で n \bar{X} = \sum X_{i}) \\ = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 n (\bar{X} - μ)^{2} + n (\bar{X} - μ)^{2} \\ = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - n (\bar{X} - μ)^{2} \end{aligned} \end{array}

なので

\begin{array}{r} \begin{aligned} E [\sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}] & = \sum_{i = 1}^{n} E [(X_{i} - μ)^{2}] - n E [(\bar{X} - μ)^{2}] \\ = n σ^{2} - n \frac{σ^{2}}{n} \\ = (n - 1) σ^{2} \end{aligned} \end{array}

となるため、期待値が $σ^{2}$ になるためには $\sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ を $n - 1$ で割る必要がある。そのような統計量

V^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}

を不偏分散という。

標本分散と不偏分散の変換を行う補正

V^{2} = a S^{2}

とおけば、

a = \frac{n}{n - 1}

逆のことをやりたい場合は $\frac{n - 1}{n}$ を乗じる（例えば、Rのvar()はn-1固定なので標本分散にしたい場合はこっちを掛ける）

\frac{n - 1}{n} V^{2} = \frac{n - 1}{n} \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2} = S^{2}

不偏標準偏差

非線形変換をかませるので、どの分布でも一般に不偏標準偏差になるとは言えない

不偏分散の平方根は標準偏差の不偏推定量か | ブログ | 統計WEB

最尤推定量は $n$ で割る#

最尤推定量は不偏分散とは一致しない。

データ $x = (x_{1}, x_{2}, \dots, x_{n})$ が正規分布

P (x | μ, σ^{2}) = \frac{1}{\sqrt{2 π} σ} \exp {- \frac{(x - μ)^{2}}{2 σ^{2}}}

に従う独立に得られたサンプルだとする。

対数尤度関数は次のものになる。

ℓ (μ, σ^{2} | x) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2}

まず $μ$ に関して偏微分してゼロとおくと

\begin{array}{r} \begin{aligned} \frac{\partial}{\partial μ} ℓ (μ, σ^{2} | x) & = - 1 \times 2 \times - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ) \\ = \frac{1}{σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ) \\ = \frac{1}{σ^{2}} \sum_{i = 1}^{n} x_{i} - \frac{1}{σ^{2}} \sum_{i = 1}^{n} μ = 0 \\ ⟹ \frac{1}{σ^{2}} \sum_{i = 1}^{n} x_{i} & = \frac{1}{σ^{2}} \sum_{i = 1}^{n} μ \\ ⟹ \frac{1}{σ^{2}} \sum_{i = 1}^{n} x_{i} & = \frac{n}{σ^{2}} μ \\ ⟹ \frac{1}{n} \sum_{i = 1}^{n} x_{i} & = μ \end{aligned} \end{array}

よって

\hat{μ} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} = \bar{x}

なので、最尤推定量とモーメント推定量は一致する。

続いて $σ^{2}$ について偏微分してゼロとおくと

\begin{array}{r} \begin{aligned} \frac{\partial}{\partial σ^{2}} ℓ (μ, σ^{2} | x) & = - \frac{n}{2 σ^{2}} + \frac{1}{2 σ^{4}} \sum_{i = 1}^{n} (x_{i} - μ)^{2} = 0 \\ ⟹ \frac{n}{2 σ^{2}} & = \frac{1}{2 σ^{4}} \sum_{i = 1}^{n} (x_{i} - μ)^{2} \\ ⟹ n & = \frac{1}{σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2} \\ ⟹ σ^{2} & = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - μ)^{2} \end{aligned} \end{array}

よって

{\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

となり、こちらもモーメント推定量と一致する

参考文献#

不偏分散を別の観点から説明：統計学で避けて通れない自由度の話 | 豆蔵デベロッパーサイト
不偏分散おかしくね？最尤推定量のほうがよくね？派：Tsuyoshi Ide (井手剛)さんはTwitterを使っています: 「標本分散の定義式は、いわゆる不偏推定量（N-1で割る）と最尤推定量（Nで割る）という2通りあり、わかりにくいと思います混乱しがちですので、初心者向けのラフな解説を書きました。 https://t.co/hDBcKYd2Pf こう対比してみると、頻度派と言われる統計学者の論法の不自然さが際立つ感じがします。」 / Twitter