共役事前分布#
共役事前分布(conjugate prior)
ある尤度関数と組み合わせたときに、事後分布が事前分布と同じ分布族に属するような事前分布のことを 共役事前分布(conjugate prior) という。
つまり、事前分布\(p(\theta)\) と尤度 \(p(y \mid \theta)\)、事後分布\(p(\theta \mid y)\)について
\[
p(\theta \mid y) \propto p(y \mid \theta) p(\theta)
\]
の結果、
\[
p(\theta \mid y) \in \{ p(\theta) \text { と同じ分布族 } \}
\]
となるような事前分布のこと。
代表的な組み合わせ#
尤度 |
共役事前分布 |
事後分布 |
|---|---|---|
Bernoulli / Binomial |
Beta |
Beta |
Poisson |
Gamma |
Gamma |
Exponential |
Gamma |
Gamma |
Normal(\(\sigma^2\)既知) |
Normal |
Normal |
Normal(\(\mu,\sigma^2\)未知) |
Normal–Inverse-Gamma |
Normal–Inverse-Gamma |
Multinomial |
Dirichlet |
Dirichlet |