Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

標本分布

統計量の確率分布

統計的性質を分析したい対象を母集団（population）といい、調査等により母集団から得られたデータを標本（sample）という。

統計的推測では母集団の平均（母平均）μ\muや分散（母分散）σ2\sigma^2といった母数（population parameter）を標本に基づいて推定する。

標本から得られた平均や分散

Xˉ=1n∑i=1nXiS2=1n∑i=1n(Xi−Xˉ)2\begin{align} \bar{X} &= \frac{1}{n} \sum^n_{i=1} X_i\\ S^2 &= \frac{1}{n} \sum^n_{i=1} (X_i - \bar{X})^2 \end{align}
(1)

はそれぞれ標本平均（sample mean）や標本分散（sample variance）と呼ばれる。

標本平均のような、標本に基づいた関数で母数を含んでないものを統計量（statistics）といい、その確率分布を標本分布（sampling distribution）という。

母数の推定のためには統計量がどのようにばらつくか等の標本分布の性質が利用される。

平均がμ\mu、分散がσ2\sigma^2の確率分布を母集団とする独立同分布から得られたランダム・サンプルを

X1,⋯ ,Xn,i.i.d.∼(μ,σ2)X_1, \cdots, X_n, i.i.d. \sim (\mu, \sigma^2)
(2)

と書くことにする。

E[Xi]=μ,V[Xi]=σ2E[X_i] = \mu, V[X_i] = \sigma^2を用いて、標本平均Xˉ\bar{X}の平均と分散を計算すると

E[Xˉ]=1n∑i=1nE[Xi]=1n∑i=1nμ=μV[Xˉ]=1n2∑i=1nV[Xi]=σ2n\begin{align} E[\bar{X}] &= \frac{1}{n} \sum^n_{i=1} E[X_i] = \frac{1}{n} \sum^n_{i=1} \mu = \mu\\ V[\bar{X}] &= \frac{1}{n^2} \sum^n_{i=1} V[X_i] = \frac{\sigma^2}{n} \end{align}
(3)

となる。

不偏分散

なお、Xˉ\bar{X}は期待値をとるとμ\muになるが、S2S^2の期待値はσ2\sigma^2にはならない。

Xi−Xˉ=Xi−μ−(Xˉ−μ)X_i - \bar{X} = X_i - \mu - (\bar{X} - \mu)と代入すると、

∑i=1n(Xi−Xˉ)2=∑i=1n[(Xi−μ)−(Xˉ−μ)]2=∑i=1n(Xi−μ)2−2∑i=1n(Xi−μ)(Xˉ−μ)+∑i=1n(Xˉ−μ)2=∑i=1n(Xi−μ)2−2(Xˉ−μ)∑i=1n(Xi−μ)+n(Xˉ−μ)2(∵Xˉとμは定数のため∑の外に出せる)=∑i=1n(Xi−μ)2−2(Xˉ−μ)(nXˉ−nμ)+n(Xˉ−μ)2(∵Xˉ=1n∑XiなのでnXˉ=∑Xi)=∑i=1n(Xi−μ)2−2n(Xˉ−μ)2+n(Xˉ−μ)2=∑i=1n(Xi−μ)2−n(Xˉ−μ)2\begin{align} \sum^n_{i=1} (X_i - \bar{X})^2 &= \sum^n_{i=1} [(X_i - \mu) - (\bar{X} - \mu)]^2\\ &= \sum^n_{i=1} (X_i - \mu)^2 - 2 \sum^n_{i=1} (X_i - \mu)(\bar{X} - \mu) + \sum^n_{i=1}(\bar{X} - \mu)^2\\ &= \sum^n_{i=1} (X_i - \mu)^2 - 2 (\bar{X} - \mu) \sum^n_{i=1} (X_i - \mu) + n(\bar{X} - \mu)^2 \\ & \hspace{2em} (\textstyle \because \bar{X}と\muは定数のため\sumの外に出せる)\\ &= \sum^n_{i=1} (X_i - \mu)^2 - 2 (\bar{X} - \mu) (n\bar{X} - n\mu) + n(\bar{X} - \mu)^2 \\ & \hspace{2em} (\textstyle \because \bar{X}=\frac{1}{n}\sum X_i なので n\bar{X} = \sum X_i)\\ &= \sum^n_{i=1} (X_i - \mu)^2 - 2n (\bar{X} - \mu)^2 + n (\bar{X} - \mu)^2 \\ &= \sum^n_{i=1} (X_i - \mu)^2 - n (\bar{X} - \mu)^2 \end{align}
(9)

なので

E[∑i=1n(Xi−Xˉ)2]=∑i=1nE[(Xi−μ)2]−nE[(Xˉ−μ)2]=nσ2−nσ2n=(n−1)σ2\begin{align} E[\sum_{i=1}^n (X_i - \bar{X})^2] &= \sum^n_{i=1} E[(X_i - \mu)^2] - n E[(\bar{X} - \mu)^2]\\ &= n\sigma^2 - n\frac{\sigma^2}{n}\\ &= (n - 1) \sigma^2 \end{align}
(10)

となるため、期待値がσ2\sigma^2になるためには∑i=1n(Xi−Xˉ)2\sum_{i=1}^n (X_i - \bar{X})^2をn−1n-1で割る必要がある。そのような統計量

V2=1n−1∑i=1n(Xi−Xˉ)2V^2 = \frac{1}{n-1} \sum^n_{i=1} (X_i - \bar{X})^2
(11)

を不偏分散という。

最尤推定量はnnで割る

最尤推定量は不偏分散とは一致しない。

データx=(x1,x2,…,xn)\boldsymbol{x} = (x_1, x_2, \dots, x_n)が正規分布

P(x∣μ,σ2)=12πσexp⁡{−(x−μ)22σ2}P(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi}\sigma} \exp \left\{ - \frac{(x-\mu)^2}{2\sigma^2} \right\}
(15)

に従う独立に得られたサンプルだとする。

対数尤度関数は次のものになる。

ℓ(μ,σ2∣x)=−n2log⁡(2π)−n2log⁡(σ2)−12σ2∑i=1n(xi−μ)2\ell(\mu, \sigma^2 |\boldsymbol{x}) = - \frac{n}{2} \log(2\pi) - \frac{n}{2} \log (\sigma^2) - \frac{1}{2\sigma^2} \sum^n_{i=1} (x_i - \mu)^2
(16)

まずμ\muに関して偏微分してゼロとおくと

∂∂μℓ(μ,σ2∣x)=−1×2×−12σ2∑i=1n(xi−μ)=1σ2∑i=1n(xi−μ)=1σ2∑i=1nxi−1σ2∑i=1nμ=0  ⟹  1σ2∑i=1nxi=1σ2∑i=1nμ  ⟹  1σ2∑i=1nxi=nσ2μ  ⟹  1n∑i=1nxi=μ\begin{align} \frac{\partial}{\partial \mu} \ell(\mu, \sigma^2 |\boldsymbol{x}) &= -1 \times 2 \times - \frac{1}{2\sigma^2} \sum^n_{i=1} (x_i - \mu)\\ &= \frac{1}{\sigma^2} \sum^n_{i=1} (x_i - \mu)\\ &= \frac{1}{\sigma^2} \sum^n_{i=1} x_i - \frac{1}{\sigma^2} \sum^n_{i=1} \mu = 0\\ \implies \frac{1}{\sigma^2} \sum^n_{i=1} x_i &= \frac{1}{\sigma^2} \sum^n_{i=1} \mu\\ \implies \frac{1}{\sigma^2} \sum^n_{i=1} x_i &= \frac{n}{\sigma^2} \mu\\ \implies \frac{1}{n} \sum^n_{i=1} x_i &= \mu \end{align}
(17)

よって

μ^=1n∑i=1nxi=xˉ\hat{\mu} = \frac{1}{n} \sum^n_{i=1} x_i = \bar{x}
(18)

なので、最尤推定量とモーメント推定量は一致する。

続いてσ2\sigma^2について偏微分してゼロとおくと

∂∂σ2ℓ(μ,σ2∣x)=−n2σ2+12σ4∑i=1n(xi−μ)2=0  ⟹  n2σ2=12σ4∑i=1n(xi−μ)2  ⟹  n=1σ2∑i=1n(xi−μ)2  ⟹  σ2=1n∑i=1n(xi−μ)2\begin{align} \frac{\partial}{\partial \sigma^2} \ell(\mu, \sigma^2 |\boldsymbol{x}) &= - \frac{n}{2 \sigma^2} + \frac{1}{2 \sigma^4} \sum^n_{i=1} (x_i - \mu)^2 = 0 \\ \implies \frac{n}{2 \sigma^2} &= \frac{1}{2 \sigma^4} \sum^n_{i=1} (x_i - \mu)^2\\ \implies n &= \frac{1}{\sigma^2} \sum^n_{i=1} (x_i - \mu)^2\\ \implies \sigma^2 &= \frac{1}{n} \sum^n_{i=1} (x_i - \mu)^2\\ \end{align}
(19)

よって

σ^2=1n∑i=1n(xi−xˉ)2\hat{\sigma}^2 = \frac{1}{n} \sum^n_{i=1} (x_i - \bar{x})^2
(20)

となり、こちらもモーメント推定量と一致する

統計学
統計的推測
統計学
母関数