モーメント、確率母関数、積率母関数、特性関数 - データサイエンス関連+αのメモ

モーメント（積率）¶

平均や分散といった分布の特性を表す値を一般化したものが積率である。

$k=1,2,\dots$ に対して、

$\mu_k' = E[X^k]$ を原点まわりの $k$ 次 モーメント（moment, 積率）
$\mu_k = E[(X - \mu)^k]$ を平均まわりの $k$ 次モーメント

という。

また、

$E[X (X-1) \dots (X - k + 1)]$ を $k$ 次 階乗モーメント（factorial moment）

という

確率母関数¶

確率分布を特徴づける関数であり、1つの確率分布に対して1つ対応する。確率関数や積率を生成できる。

G_X(s) = p(0) + s p(1) + s^2 p(2) + \cdots + s^k p(k) + \cdots

(2)

という形であるため

p(0) = G_X(0) ,\quad p(1) = G_X'(0) ,\quad p(2) = \frac{1}{2} G_X''(0)

(3)

といったふうに $s=0$ における $G_X(s)$ の導関数の次数と対応し、一般に

p(k)=\left.\frac{1}{k!} \frac{d^k}{d s^k} G_X(s)\right|_{s=0}=\frac{1}{k!} G_X^{(k)}(0)

(4)

となる。

このことから、確率母関数 $G_X(s)$ は確率関数 $p(k), k=0,1,2,\dots$ を生成する関数であることがわかる。

積率母関数¶

指数関数をテイラー展開すると

e^{t X}=1+t X+\frac{t^2 X^2}{2!}+\frac{t^3 X^3}{3!}+\cdots

(6)

で、期待値をとると

M_X(t)=\mathbb{E}\left[e^{t X}\right]=1+\mathbb{E}[X] t+\frac{\mathbb{E}\left[X^2\right]}{2!} t^2+\frac{\mathbb{E}\left[X^3\right]}{3!} t^3+\cdots

(7)

という形になっている。つまり、係数がモーメント $\mathbb{E}[X^k]$ となっている。

そのため、モーメント母関数を $k$ 回微分すると

M_X^{(k)}(t)=\frac{d^k}{d t^k} M_X(t)=\mathbb{E}[X^k]+O(t)

(8)

となり、 $t=0$ を代入すれば

M_X^{(k)}(0) = \mathbb{E}[X^k]

(9)

となってモーメントを取り出せる。

1次のモーメント（平均）： $M_X^{\prime}(0)=\mathbb{E}[X]$
2次のモーメント： $M_X^{\prime \prime}(0)=\mathbb{E}[X^2]$
- そこから分散は $\operatorname{Var}(X)=\mathbb{E}[X^2]-(\mathbb{E}[X])^2$ で求められる

例：正規分布の積率母関数

$X \sim \mathcal{N}\left(\mu, \sigma^2\right)$ の密度は

f_X(x)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^2}{2 \sigma^2}\right)

(10)

積率母関数は

No input for math node

\begin{aligned} M_X(t) & =\mathbb{E}\left[e^{t X}\right]\\ & =\int_{-\infty}^{\infty} e^{t x} f_X(x) d x\\ & =\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{\infty} \exp \left(t x-\frac{(x-\mu)^2}{2 \sigma^2}\right) d x \\ & =\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{\infty} \exp \underbrace{ \left(t x-\frac{x^2-2 \mu x+\mu^2}{2 \sigma^2} \right) }_{\text {指数の中を整理}} d x \\ & =\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{\infty} \exp \left(\frac{1}{2 \sigma^2}\left[-x^2+2\left(\mu+\sigma^2 t\right) x-\mu^2\right]\right) d x \end{aligned}

(12)

ここで定数 $a:=\mu+\sigma^2 t$ とおくと

-x^2+2 a x=-\left(x^2-2 a x\right)=-\left((x-a)^2-a^2\right)=-(x-a)^2+a^2

(13)

よって

\begin{aligned} M_X(t) & =\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{\infty} \exp \left(\frac{1}{2 \sigma^2}\left[-(x-a)^2+a^2-\mu^2\right]\right) d x \\ & =\underbrace{ \exp \left(\frac{a^2-\mu^2}{2 \sigma^2}\right)}_{\text {櫝分と独立な定数因子 }} \cdot \underbrace{ \frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{\infty} \exp \left(-\frac{(x-a)^2}{2 \sigma^2}\right) d x }_{ \text{正規分布の体数倍の積分→=1} }\\ &= \exp \left(\frac{a^2-\mu^2}{2 \sigma^2}\right)\\ & =\exp \left(\frac{\left(\mu+\sigma^2 t\right)^2-\mu^2}{2 \sigma^2}\right) \\ & =\exp \left(\frac{\mu^2+2 \mu \sigma^2 t+\sigma^4 t^2-\mu^2}{2 \sigma^2}\right)\\ &= \exp \left(\mu t+\frac{\sigma^2 t^2}{2}\right)\\ &= \exp \left(\mu t+\frac{1}{2} \sigma^2 t^2\right) \end{aligned}

(14)

ということで

M_X(t)=\exp \left(\mu t+\frac{1}{2} \sigma^2 t^2\right)

(15)

正規分布の平均と分散

正規分布の積率母関数

M_X(t)=\exp \left(\mu t+\frac{1}{2} \sigma^2 t^2\right)

(16)

から平均と分散をもとめたいとする。

平均

1次のモーメント $\mathbb{E}[X]$ は、積率母関数の1階微分が

M_X^{\prime}(t)=\left(\mu+\sigma^2 t\right) \exp \left(\mu t+\frac{1}{2} \sigma^2 t^2\right)

(17)

なので $t=0$ のとき

M_X^{\prime}(0)= \mu \exp(0) = \mu = \mathbb{E}[X]

(18)

より、平均は $\mu$

分散

2次のモーメント $\mathbb{E}[X^2]$ は、積率母関数の2階微分が

M_X^{\prime \prime}(t)=\left(\sigma^2+\left(\mu+\sigma^2 t\right)^2\right) \exp \left(\mu t+\frac{1}{2} \sigma^2 t^2\right)

(19)

であるため、 $t=0$ を代入すれば

M_X^\mu(0)=\sigma^2+\mu^2 = \mathbb{E}[X^2]

(20)

となる。

分散は

\begin{aligned} \operatorname{Var}(X) &= \mathbb{E}[X^2] - (\mathbb{E}[X])^2\\ &= \sigma^2+\mu^2 - \mu^2\\ &= \sigma^2 \end{aligned}

(21)

となる

特性関数¶

分布によっては積率母関数は存在しない。しかし複素空間では常に存在する。積率母関数を複素平面上へと一般化したのが特性関数。