生成モデル

生成モデル#

モデル	学習するモデル	生成モデルの尤度計算	生成	推論
VAE	生成モデル: $p(x, z) = \int p(x	z)p(z)dz$<br> 推論モデル: $q(z	x)$	直接は不可能（対数尤度下限が計算可能）
GAN	生成器: $G(z)$ 識別器: $D(x)$	不可能（識別器が真のモデルとの尤度比を推定）	低コスト	不可能（エンコーダを導入すれば可能）
自己回帰モデル	条件付きモデル: $\prod_d p(x_d	x_1, …, x_{d-1})$	可能	高コスト
フローベース	フロー（可逆な関数）: $x = f(z)$	可能	低コスト	可能（逆変換）
拡散モデル	逆過程: $p(x_T) \prod_t p(x_{t-1}	x_t)$<br> 拡散過程: $\prod_t p(x_t	x_{t-1})$	直接は不可能（対数尤度下限が計算可能）
スコアマッチング	スコアネットワーク: $S(x)$	直接は不可能（対数尤度の勾配が計算可能）	高コスト（反復）	潜在変数がない
エネルギーベース	エネルギー関数: $E(x)$	困難（分配関数の計算）	高コスト（反復）	モデルの設計による

モデル	学習するモデル	生成モデルの尤度計算	生成	推論
VAE	生成モデル: $p(x, z) = \int p(x	z)p(z)dz\(<br> 推論モデル: \)q(z	x)$	直接は不可能（対数尤度下限が計算可能）
GAN	生成器: \(G(z)\) 識別器: \(D(x)\)	不可能（識別器が真のモデルとの尤度比を推定）	低コスト	不可能（エンコーダを導入すれば可能）
自己回帰モデル	条件付きモデル: $\prod_d p(x_d	x_1, …, x_{d-1})$	可能	高コスト
フローベース	フロー（可逆な関数）: \(x = f(z)\)	可能	低コスト	可能（逆変換）
拡散モデル	逆過程: $p(x_T) \prod_t p(x_{t-1}	x_t)\(<br> 拡散過程: \)\prod_t p(x_t	x_{t-1})$	直接は不可能（対数尤度下限が計算可能）
スコアマッチング	スコアネットワーク: \(S(x)\)	直接は不可能（対数尤度の勾配が計算可能）	高コスト（反復）	潜在変数がない
エネルギーベース	エネルギー関数: \(E(x)\)	困難（分配関数の計算）	高コスト（反復）	モデルの設計による