Diffusion Models#
水の中でインクが拡散していくとき、その動きはランダムになる。まさにそのようなランダムな拡散過程を学習し、その逆変換を得ることで生成モデルを作る手法。
初出は Sohl-Dickstein et al. (2015). Deep unsupervised learning using nonequilibrium thermodynamics.
Ho, et al. (2020). Denoising diffusion probabilistic models.（通称DDPM）が改良し、大流行した。
DDPMは正規分布に従うランダムノイズを画像に加えていく過程を作り、その逆を学習することでノイズ除去を行う（ノイズがない状態の画像を生成する）モデルを得るというもの。
Tutorials#
MNISTやCIFAR10でdiffusion modelをPyTorchでミニマムに実装するチュートリアル。他にも17の代表的な実装チュートリアルがある。