Understanding Diffusion Models: A Unified Perspective
Calvin Luo Google Research, Brain Team
Abstract
Given observed samples ${\bm{x}}$ from a distribution of interest, the goal of a generative model is to learn to model its true data distribution $p({\bm{x}})$ . Once learned, we can generate new samples from our approximate model at will. Furthermore, under some formulations, we are able to use the learned model to evaluate the likelihood of observed or sampled data as well.
中文速览
研究者希望用一种统一、清晰的数学框架来解释扩散模型（diffusion models）究竟是什么、为何有效。文章从变分自编码器（VAE）和分层VAE出发，逐步推导出变分扩散模型（VDM）的完整理论，揭示了它同时具备基于似然和基于得分（score-based）两种解读方式。通过严格的数学推导，作者证明扩散模型的训练目标可以分解为若干直观可解释的损失项，并与去噪得分匹配（denoising score matching）建立等价关系，从而将看似不同的生成建模方法统一在同一框架下。这项工作不仅厘清了扩散模型的理论根基，也为研究者提供了一份从第一原理出发、逐步推导的详尽学习路径，有助于更广泛的受众理解并进一步发展这类当前最强大的生成模型。
原文 arXiv:2208.11970;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2208.11970v1