共役事前分布

共役事前分布#

共役事前分布(conjugate prior)

ある尤度関数と組み合わせたときに、事後分布が事前分布と同じ分布族に属するような事前分布のことを 共役事前分布(conjugate prior) という。

つまり、事前分布\(p(\theta)\) と尤度 \(p(y \mid \theta)\)、事後分布\(p(\theta \mid y)\)について

\[ p(\theta \mid y) \propto p(y \mid \theta) p(\theta) \]

の結果、

\[ p(\theta \mid y) \in \{ p(\theta) \text { と同じ分布族 } \} \]

となるような事前分布のこと。

代表的な組み合わせ#

尤度

共役事前分布

事後分布

Bernoulli / Binomial

Beta

Beta

Poisson

Gamma

Gamma

Exponential

Gamma

Gamma

Normal(\(\sigma^2\)既知)

Normal

Normal

Normal(\(\mu,\sigma^2\)未知)

Normal–Inverse-Gamma

Normal–Inverse-Gamma

Multinomial

Dirichlet

Dirichlet