Understanding Diffusion Models: A Unified Perspective

Introduction: Generative Models

给出从一个分布中观测到的样例x，生成模型的目标是学习建模真实数据分布
.​

一般我们用生成模型可以做两件事：

1.
密度估计；​

2.
生成样本；​

当前工作中几种常见的方向：

a.
GANs：不显式地做密度估计；
​

b.
VAEs：需要显式地做密度估计；
​

c.
Energy-based generative models: A distribution is learned as an arbitrarily flexible energy function that is then normalized. ​

d.
Score-based generative models: 直接使用一个neural network 
来学习score function 
.​

e.
Diffusion model？Having both likelihood-based and score-based interpretations.​

Background: ELBO, VAE, and Hierarchical VAE

Latent Variable

对于大部分模态，我们可以认为我们观测到的data是由一个与之相联系的unseen latent variable产生或表示的，我们一般用随机变量z来表示；​

对于隐变量的解释 Plato's Allegory of the Cave

在没有强显先验的情况下学习更高维的隐变量比较困难，另一方面低维的隐变量可以也可以看做是一种压缩；​

Evidence Lower Bound

有了隐变量
之后，我们直接建模隐变量和观测变量的联合分布
。我们可以用两种方法从p(x,z)得到p(x)。​

1.
求边际概率：​

2.
使用贝叶斯定理：​

Understanding Diffusion Models: A Unified Perspective​