Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

確率変数と期待値・分散

確率変数

Ω\Omegaを全事象、B\mathcal{B}をΩ\Omegaの可測集合族、PPを(Ω,B)(\Omega, \mathcal{B})上の確率とするとき、ω∈Ω\omega \in \Omegaに対して実数値X(ω)∈RX(\omega) \in \mathbb{R}を対応させる関数XXを確率変数（random variable）という。

任意の実数xxに対してX≤xX\leq xである確率は

P(X≤x)=P({ω∈Ω∣X(ω)≤x})P(X\leq x) = P(\{\omega \in \Omega| X(\omega) \leq x\})
(1)

として、確率PPを用いて与えることができる。

なお、X(ω)=xX(\omega)=xのxxを実現値という。実現値の全体を標本空間といい、X={X(ω)∣ω∈Ω}\mathcal{X} = \{X(\omega)|\omega\in\Omega\}で表す。

累積分布関数

確率変数Xの累積分布関数（cumulative distribution function: cdf）を

FX(x)=P(X≤x)F_X(x) = P(X \leq x)
(2)

と定義する。累積分布関数は単に分布関数とも呼ばれる。

分布関数FX(x)F_X(x)が階段関数（step function）のとき、XXは離散型確率変数（discrete random variable）といい、FX(x)F_X(x)が連続関数のとき、XXは連続型確率変数（continuous random variable）という。

確率関数

離散型確率変数XXに対して

fX(x)=P(X=x)f_X(x)=P(X=x)
(3)

を確率質量関数（probability mass function: pmf）という。

連続型確率変数XXに対して

FX(x)=∫−∞xfX(t)dt,−∞<x<∞F_X(x) = \int^x_{-\infty} f_X(t) dt, \quad -\infty < x < \infty
(4)

となる関数fX(x)f_X(x)が存在するとき、fX(x)f_X(x)を確率密度関数（probability density function: pdf）という。

定義から、fX(x)f_X(x)はFX(x)F_X(x)を微分することで得られる。

fX(x)=dFX(x)dxf_X(x) = \frac{d F_X(x)}{dx}
(5)

期待値

確率変数XXの関数g(X)g(X)の期待値（expected value）をE[g(X)]E[g(X)]で表す。E[g(X)]E[g(X)]は

XXが離散型確率変数のとき、

E[g(x)]=∫−∞∞g(x)fX(x)dxE[g(x)] = \int^{\infty}_{-\infty} g(x) f_X(x) dx
(6)

XXが連続型確率変数のとき、

E[g(x)]=∑xi∈Xg(xi)fX(xi)E[g(x)] = \sum_{x_i \in \mathcal{X}} g(x_i) f_X(x_i)
(7)

と定義される。

E[X]E[X]をXXの期待値もしくは平均（mean）という。

期待値の演算規則

線形関数のため、線形性をもつ

a,b∈Ra,b\in\mathbb{R}による線形関数g(X)=a+bXg(X) = a+bXの期待値を考える

E⁡(a+bX)=a+bE⁡(X)\operatorname{E}(a+b X) = a + b \operatorname{E}(X)
(8)
証明

例として離散型確率変数とする

E⁡(a+bX)=∑xi∈X(a+bxi)fX(xi)=a∑xi∈XfX(xi)⏟=1+b∑xi∈XxifX(xi)⏟=E⁡(X)=a+bE⁡(X)\begin{aligned} \operatorname{E}(a+b X) &= \sum_{x_i\in \mathcal{X}} (a + b x_i) f_X(x_i)\\ &= a \underbrace{ \sum_{x_i\in \mathcal{X}} f_X(x_i) }_{=1} + b \underbrace{ \sum_{x_i\in \mathcal{X}} x_i f_X(x_i) }_{=\operatorname{E}(X)}\\ &= a + b \operatorname{E}(X) \end{aligned}
(9)

分散

E[(X−E[X])2]E[(X- E[X])^2]をXXの分散（variance）という。

Var⁡(X)=E[(X−E[X])2]=∑(xi−E⁡(X))2f(xi)\operatorname{Var}(X) = E[(X- E[X])^2] = \sum (x_i - \operatorname{E}(X))^2 f(x_i)
(10)
分散の別表現
Var⁡(X)=E⁡[(X−E⁡[X])2]=E⁡[X2]−E⁡[X]2\operatorname{Var}(X) = \operatorname{E}[(X - \operatorname{E}[X])^2] = \operatorname{E}[X^2] - \operatorname{E}[X]^2
(11)
証明
E⁡[(X−E⁡[X])2]=E⁡[X2−2E⁡[X]X+E⁡[X]2]=E⁡[X2]−2E⁡[X]2+E⁡[X]2=E⁡[X2]−E⁡[X]2\begin{aligned} \operatorname{E}[(X - \operatorname{E}[X])^2] &= \operatorname{E}[X^2 - 2 \operatorname{E}[X] X + \operatorname{E}[X]^2]\\ &= \operatorname{E}[X^2] - 2 \operatorname{E}[X]^2 + \operatorname{E}[X]^2\\ &= \operatorname{E}[X^2] - \operatorname{E}[X]^2\\ \end{aligned}
(12)

分散も線形関数のため、線形性をもつ

a,b∈Ra,b\in\mathbb{R}に対し、

Var⁡(a+bX)=b2Var⁡(X)\operatorname{Var}(a+b X)=b^2 \operatorname{Var}(X)
(13)

多次元確率変数の分布

2つの確率変数 X,YX,Y の組を考える。

離散分布の場合

同時分布

X,YX,Yがどちらも離散型確率変数で、XXがX={0,1,2,...}\mathcal{X}=\{0,1,2,...\}上に、YYがY={0,1,2,...}\mathcal{Y}=\{0,1,2,...\}上に値をとるとする。X=xX=xかつY=yY=yである確率P({X=x}∩{Y=y})P(\{X=x\}\cap\{Y=y\})をP(X=x,Y=y)P(X=x, Y=y)で表し、

P(X=x,Y=y)=fX,Y(x,y),(x,y)∈X×YP(X=x, Y=y) = f_{X,Y}(x,y), \hspace{2em} (x,y) \in \mathcal{X\times Y}
(14)

と書くことにする。

X,YX,Yと2次元の確率変数の場合、事象も2次元空間にあり、(x,y)(x,y)の集まった部分集合になる。ある事象AAの確率は

P((X,Y)∈A)=∑(x,y)∈AfX,Y(x,y)P((X,Y) \in A) = \sum_{(x,y)\in A} f_{X,Y}(x,y)
(15)

と書くことができる。これを同時分布（joint distribution）といい、fX,Y(x,y)f_{X,Y}(x,y)を同時確率関数（joint probability function）という。

周辺分布

X\mathcal{X}上の集合BBに対して{X∈B}\{X \in B\}という事象は{X∈B}∩{Y∈Y}\{X \in B\}\cap\{Y \in \mathcal{Y}\}もしくは{(X,Y)∈B×Y}\{(X,Y) \in B\times\mathcal{Y}\}と同等なので、

P(X∈B)=P((X,Y)∈B×Y)=∑(x,y)∈B×YfX,Y(x,y)=∑x∈B∑y=0∞fX,Y(x,y)\begin{align} P(X\in B) &= P((X, Y) \in B \times \mathcal{Y})\\ &= \sum_{(x,y)\in B\times \mathcal{Y}} f_{X,Y} (x,y)\\ &= \sum_{x\in B} \sum_{y=0}^\infty f_{X,Y} (x,y) \end{align}
(16)

と書くことができる。P(X∈B)P(X\in B)をXXの周辺分布（marginal distribution）といい、

fX(x)=∑y=0∞fX,Y(x,y)f_X(x) = \sum^\infty_{y=0} f_{X,Y}(x,y)
(17)

をXXの周辺確率関数 という。

期待値

関数g(X,Y)g(X,Y)の同時確率関数fX,Y(x,y)f_{X,Y}(x,y)に関する期待値は次のように定義される。

E[g(X,Y)]=∑x=0∞∑y=0∞g(x,y)fX,Y(x,y)E[g(X,Y)] = \sum_{x=0}^\infty \sum_{y=0}^\infty g(x,y) f_{X,Y}(x,y)
(18)

連続分布の場合

同時確率

X,YX,YがともにR\mathbb{R}上の連続型確率変数とし、R2\mathbb{R}^2上の集合CCに対して確率が

P((X,Y)∈C)=∫∫(x,y)∈CfX,Y(x,y)dxdyP((X,Y)\in C)=\int \int_{(x,y)\in C} f_{X,Y}(x,y) dxdy
(19)

と表されるとき、fX,Y(x,y)f_{X,Y}(x,y)を同時確率密度関数（joint probability density function）という。

周辺確率

XXの周辺確率密度関数（marginal probability density function）は

fX(x)=∫−∞∞fX,Y(x,y)dyf_X(x)=\int^\infty_{-\infty} f_{X,Y}(x,y) dy
(20)

で与えられる。

期待値

次のように定義される

E[g(X,Y)]=∫−∞∞∫−∞∞g(x,y)fX,Y(x,y)dxdyE[g(X,Y)] = \int^\infty_{-\infty} \int^\infty_{-\infty} g(x,y) f_{X,Y}(x,y) dxdy
(21)

条件付き確率・期待値

条件付き確率

fX(x)≠0f_X(x)\neq 0なるxxに対して、X=xX=xのもとでのY=yY=yの条件付き確率を

fY∣X(y∣x)=P(Y=y∣X=x)=fX,Y(x,y)fX(x)f_{Y \mid X}(y \mid x)=P(Y=y \mid X=x)=\frac{f_{X, Y}(x, y)}{f_X(x)}
(22)

と定義する

条件付き期待値

離散型

E[Y∣X=x]=∑y=0∞yfY∣X(y∣x)=∑y=0∞yfX,Y(x,y)fX(x)E[Y \mid X=x]=\sum_{y=0}^{\infty} y f_{Y \mid X}(y \mid x)=\frac{\sum_{y=0}^{\infty} y f_{X, Y}(x, y)}{f_X(x)}
(23)

連続型確率分布において、関数g(x,y)g(x, y)に対する条件付き期待値は

E[g(x,y)∣X=x]=∫−∞∞g(x,y)fY∣X(y∣x)dy=∫−∞∞g(x,y)fX,Y(x,y)dyfX(x)E[g(x, y) \mid X=x]=\int_{-\infty}^{\infty} g(x, y) f_{Y \mid X}(y \mid x) d y=\frac{\int_{-\infty}^{\infty} g(x, y) f_{X, Y}(x, y) d y}{f_X(x)}
(24)

となる。

条件付き分散

Var⁡(Y∣X=x)=EY∣X[(Y−EY∣X[Y∣X=x])2∣X=x]=EY∣X[Y2∣X=x]−(EY∣X[Y∣X=x])2\begin{aligned} \operatorname{Var}(Y \mid X=x) & =E^{Y \mid X}\left[\left(Y-E^{Y \mid X}[Y \mid X=x]\right)^2 \mid X=x\right] \\ & =E^{Y \mid X}\left[Y^2 \mid X=x\right]-\left(E^{Y \mid X}[Y \mid X=x]\right)^2 \end{aligned}
(25)

繰り返し期待値の法則

条件付き期待値E[Y∣X]E[Y|X]をXXについて期待値をとったものはE[Y]E[Y]に等しい。すなわち、

EX[E[Y∣X]]=E[Y]E_X[E[Y|X]] = E[Y]
(26)

である。これを 繰り返し期待値の法則 （the law of total expectation, the law of iterated expectations: LIE）という。

証明:

EX[E[Y∣X]]=∫E[Y∣X=x]fX(x)dx=∫(∫yfX,Y(x,y)fX(x)dy)fX(x)dx=∫∫yfX,Y(x,y)dydx=∫y∫fX,Y(x,y)dx⏟周辺確率密度関数fY(y)dy=∫yfY(y)dy=E[Y]\begin{align} E_X[E[Y|X]] &= \int E[Y|X=x] f_X(x) dx\\ &= \int \left( \int y \frac{f_{X,Y}(x, y)}{f_X(x)} dy \right) f_X(x) dx\\ &= \int \int y f_{X,Y}(x, y) dy dx\\ &= \int y \underbrace{ \int f_{X,Y}(x, y) dx }_{周辺確率密度関数 f_Y(y)} dy \\ &= \int y f_Y(y) dy\\ &= E[Y] \end{align}
(27)

期待値ベクトル

X=(X1,…,Xn)⊤X = (X_1,\dots,X_n)^\top をnn次元確率変数ベクトルとする。各変数の期待値のベクトル

E[X]=μ=(E[X1]⋮E[Xn])E[X] = \mu = \begin{pmatrix} E[X_1] \\ \vdots \\ E[X_n] \end{pmatrix}
(28)

を期待値ベクトルという。

分散共分散行列

σ=Var⁡[X]=E[(X−E[X])(X−E[X])⊤]\sigma = \operatorname{Var}[X] = E[(X - E[X])(X - E[X])^\top]
(29)

aaを定数ベクトル、BBを定数行列とすると

Var⁡[a+BX]=BVar⁡[X]B⊤\operatorname{Var}[a + B X] = B \operatorname{Var}[X] B^\top
(30)

となる。

証明
Var⁡[a+BX]=E[(a+BX−E[a+BX])(a+BX−E[a+BX])⊤]=E[(BX−E[BX])(BX−E[BX])⊤](∵aは定数のためE[a]=a)=E[B(X−E[X])[B(X−E[X])]⊤]=E[B(X−E[X])(X−E[X])⊤B⊤](∵(AB)⊤=B⊤A⊤)=BE[(X−E[X])(X−E[X])⊤]B⊤=BVar⁡[X]B⊤\begin{aligned} \operatorname{Var}[a + B X] &= E[(a + B X - E[a + B X])(a + B X - E[a + B X])^\top]\\ &= E[(B X - E[B X])(B X - E[B X])^\top] \quad (\because aは定数のためE[a] = a)\\ &= E[B (X - E[X])[B(X - E[X])]^\top]\\ &= E[B (X - E[X])(X - E[X])^\top B^\top] \quad (\because (AB)^\top = B^\top A^\top)\\ &= B E[(X - E[X])(X - E[X])^\top ] B^\top \\ &= B \operatorname{Var}[X] B^\top \end{aligned}
(31)

参考

  • 久保川 達也（2017）『現代数理統計学の基礎』、共立出版。

統計学
確率
統計学
モーメント、確率母関数、積率母関数、特性関数