確率変数と期待値・分散

確率変数と期待値・分散#

確率変数#

$Ω$ を全事象、 $B$ を $Ω$ の可測集合族、 $P$ を $(Ω, B)$ 上の確率とするとき、 $ω \in Ω$ に対して実数値 $X (ω) \in R$ を対応させる関数 $X$ を確率変数（random variable）という。

任意の実数 $x$ に対して $X \leq x$ である確率は

P (X \leq x) = P ({ω \in Ω | X (ω) \leq x})

として、確率 $P$ を用いて与えることができる。

なお、 $X (ω) = x$ の $x$ を実現値という。実現値の全体を標本空間といい、 $X = {X (ω) | ω \in Ω}$ で表す。

累積分布関数#

確率変数Xの累積分布関数（cumulative distribution function: cdf）を

F_{X} (x) = P (X \leq x)

と定義する。累積分布関数は単に分布関数とも呼ばれる。

分布関数 $F_{X} (x)$ が階段関数（step function）のとき、 $X$ は離散型確率変数（discrete random variable）といい、 $F_{X} (x)$ が連続関数のとき、 $X$ は連続型確率変数（continuous random variable）という。

確率関数#

離散型確率変数 $X$ に対して

f_{X} (x) = P (X = x)

を確率質量関数（probability mass function: pmf）という。

連続型確率変数 $X$ に対して

F_{X} (x) = \int_{- \infty}^{x} f_{X} (t) d t, - \infty < x < \infty

となる関数 $f_{X} (x)$ が存在するとき、 $f_{X} (x)$ を確率密度関数（probability density function: pdf）という。

定義から、 $f_{X} (x)$ は $F_{X} (x)$ を微分することで得られる。

f_{X} (x) = \frac{d F_{X} (x)}{d x}

期待値#

確率変数 $X$ の関数 $g (X)$ の期待値（expected value）を $E [g (X)]$ で表す。 $E [g (X)]$ は

$X$ が離散型確率変数のとき、

E [g (x)] = \int_{- \infty}^{\infty} g (x) f_{X} (x) d x

$X$ が連続型確率変数のとき、

E [g (x)] = \sum_{x_{i} \in X} g (x_{i}) f_{X} (x_{i})

と定義される。

$E [X]$ を $X$ の期待値もしくは平均（mean）という。

期待値の演算規則#

線形関数のため、線形性をもつ

$a, b \in R$ による線形関数 $g (X) = a + b X$ の期待値を考える

E (a + b X) = a + b E (X)

分散#

$E [(X - E [X])^{2}]$ を $X$ の分散（variance）という。

Var (X) = E [(X - E [X])^{2}] = \sum (x_{i} - E (X))^{2} f (x_{i})

分散の別表現

Var (X) = E [(X - E [X])^{2}] = E [X^{2}] - E [X]^{2}

分散も線形関数のため、線形性をもつ

$a, b \in R$ に対し、

Var (a + b X) = b^{2} Var (X)

多次元確率変数の分布#

2つの確率変数 $X, Y$ の組を考える。

離散分布の場合#

同時分布#

$X, Y$ がどちらも離散型確率変数で、 $X$ が $X = {0, 1, 2, . . .}$ 上に、 $Y$ が $Y = {0, 1, 2, . . .}$ 上に値をとるとする。 $X = x$ かつ $Y = y$ である確率 $P ({X = x} \cap {Y = y})$ を $P (X = x, Y = y)$ で表し、

P (X = x, Y = y) = f_{X, Y} (x, y), (x, y) \in X \times Y

と書くことにする。

$X, Y$ と2次元の確率変数の場合、事象も2次元空間にあり、 $(x, y)$ の集まった部分集合になる。ある事象 $A$ の確率は

P ((X, Y) \in A) = \sum_{(x, y) \in A} f_{X, Y} (x, y)

と書くことができる。これを同時分布（joint distribution）といい、 $f_{X, Y} (x, y)$ を同時確率関数（joint probability function）という。

周辺分布#

$X$ 上の集合 $B$ に対して ${X \in B}$ という事象は ${X \in B} \cap {Y \in Y}$ もしくは ${(X, Y) \in B \times Y}$ と同等なので、

\begin{array}{r} \begin{aligned} P (X \in B) & = P ((X, Y) \in B \times Y) \\ = \sum_{(x, y) \in B \times Y} f_{X, Y} (x, y) \\ = \sum_{x \in B} \sum_{y = 0}^{\infty} f_{X, Y} (x, y) \end{aligned} \end{array}

と書くことができる。 $P (X \in B)$ を $X$ の周辺分布（marginal distribution）といい、

f_{X} (x) = \sum_{y = 0}^{\infty} f_{X, Y} (x, y)

を $X$ の周辺確率関数 という。

期待値#

関数 $g (X, Y)$ の同時確率関数 $f_{X, Y} (x, y)$ に関する期待値は次のように定義される。

E [g (X, Y)] = \sum_{x = 0}^{\infty} \sum_{y = 0}^{\infty} g (x, y) f_{X, Y} (x, y)

連続分布の場合#

同時確率#

$X, Y$ がともに $R$ 上の連続型確率変数とし、 $R^{2}$ 上の集合 $C$ に対して確率が

P ((X, Y) \in C) = \int \int_{(x, y) \in C} f_{X, Y} (x, y) d x d y

と表されるとき、 $f_{X, Y} (x, y)$ を同時確率密度関数（joint probability density function）という。

周辺確率#

$X$ の周辺確率密度関数（marginal probability density function）は

f_{X} (x) = \int_{- \infty}^{\infty} f_{X, Y} (x, y) d y

で与えられる。

期待値#

次のように定義される

E [g (X, Y)] = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} g (x, y) f_{X, Y} (x, y) d x d y

条件付き確率・期待値#

条件付き確率#

$f_{X} (x) \neq 0$ なる $x$ に対して、 $X = x$ のもとでの $Y = y$ の条件付き確率を

f_{Y ∣ X} (y ∣ x) = P (Y = y ∣ X = x) = \frac{f_{X, Y} (x, y)}{f_{X} (x)}

と定義する

条件付き期待値#

離散型

E [Y ∣ X = x] = \sum_{y = 0}^{\infty} y f_{Y ∣ X} (y ∣ x) = \frac{\sum_{y = 0}^{\infty} y f_{X, Y} (x, y)}{f_{X} (x)}

連続型確率分布において、関数 $g (x, y)$ に対する条件付き期待値は

E [g (x, y) ∣ X = x] = \int_{- \infty}^{\infty} g (x, y) f_{Y ∣ X} (y ∣ x) d y = \frac{\int_{- \infty}^{\infty} g (x, y) f_{X, Y} (x, y) d y}{f_{X} (x)}

となる。

条件付き分散#

\begin{array}{r} \begin{aligned} Var (Y ∣ X = x) & = E^{Y ∣ X} [{(Y - E^{Y ∣ X} [Y ∣ X = x])}^{2} ∣ X = x] \\ = E^{Y ∣ X} [Y^{2} ∣ X = x] - {(E^{Y ∣ X} [Y ∣ X = x])}^{2} \end{aligned} \end{array}

繰り返し期待値の法則#

条件付き期待値 $E [Y | X]$ を $X$ について期待値をとったものは $E [Y]$ に等しい。すなわち、

E_{X} [E [Y | X]] = E [Y]

である。これを 繰り返し期待値の法則 （the law of total expectation, the law of iterated expectations: LIE）という。

証明:

\begin{array}{r} \begin{aligned} E [Y] & = \int \int y f_{X, Y} (x, y) d y d x \\ = \int (\int y \frac{f_{X, Y} (x, y)}{f_{X} (x)} d y) f_{X} (x) d x \\ = \int E [Y | X = x] f_{X} (x) d x \\ = E_{X} [E [Y | X]] \end{aligned} \end{array}

期待値ベクトル#

$X = (X_{1}, \dots, X_{n})^{⊤}$ を $n$ 次元確率変数ベクトルとする。各変数の期待値のベクトル

\begin{array}{r} E [X] = μ = (\begin{array}{c} E [X_{1}] \\ ⋮ \\ E [X_{n}] \end{array}) \end{array}

を期待値ベクトルという。

分散共分散行列#

σ = Var [X] = E [(X - E [X]) (X - E [X])^{⊤}]

$a$ を定数ベクトル、 $B$ を定数行列とすると

Var [a + B X] = B Var [X] B^{⊤}

となる。

参考#

久保川達也（2017）『現代数理統計学の基礎』、共立出版。

確率変数と期待値・分散

Contents

確率変数と期待値・分散#

確率変数#

累積分布関数#

確率関数#

期待値#

期待値の演算規則#

分散#

多次元確率変数の分布#

離散分布の場合#

同時分布#

周辺分布#

期待値#

連続分布の場合#

同時確率#

周辺確率#

期待値#

条件付き確率・期待値#

条件付き確率#

条件付き期待値#

条件付き分散#

繰り返し期待値の法則#

期待値ベクトル#

分散共分散行列#

参考#