マルコフ連鎖#

• ある状態から、別の状態に推移する確率だけが決まっている

• 1期前だけで決まる

• 連鎖はずっと続く（0%/100%がない）

$t$期の確率変数を$y_t$とし、確率過程を$\{y_t{\}}_{t=0}^{\mathrm{\infty }}$と表すことにする。

マルコフ過程では、確率変数$y_t$の確率密度関数が一期前にのみ依存するため

となる

メトロポリス・ヘイスティング（MH）法#

• 最も単純な方法

• だいたいうまくいかない

アルゴリズムの概要：

1. 推移確率行列にまず適当な確率分布を置く

   • 正規分布がよく使われる

   • $T({\theta }^{\prime }|\theta )=N(\theta ,\sigma )$

2. その提案分布を補正する処置を施す

   • $rN(\theta ,\sigma )$

   • 提案分布からの採用率を、尤度と事前分布から計算する

正規分布は左右対称→$N({\theta }^{\prime }\mid \theta ,\sigma )$と$N(\theta \mid {\theta }^{\prime },\sigma )$は一致するので約分できる

ハミルトニアン・モンテカルロ（HMC）法#

ハミルトニアン方程式を使って推移確率行列を構成 • 勾配情報をつかい、運動エネルギーと位置を更新していく