生成模型基础 08 Diffusion Model
Difussion ModelWhy we introduce diffusion in generative modeling
x为复杂分布无法表达,但是可以通过“扩散”,形成可以建模的简单分布z~N(0, I)
核心思路:如果能够逆转这一过程,则可以重新得到x,完成生成模型的目标
问题:
高维image如何变成噪声
如何逆转这一过程z -> x
如何训练模型
Forward process
forward pass:image -> noise
标记法:
image -> x0
image(data)服从的分布:q(x0)
随机变量x服从高斯分布:N(𝑥; 𝜇, 𝜎²𝐼)
从高斯分布中采样:𝑥 = 𝜇 + 𝜖𝜎
前传的过程不断加噪,一共加T次,每次加一点
可以从中sample中x1:
式子的前项可以理解为减弱x0中原来含有的信息,而后一项可以认为加入噪声信息𝜖1
后续的加噪过程与q(x1|x0),相似,可以依次计算q(x2|x1),采样出x2,……
从而可得递推公式:
计算和上上 ...
生成模型基础 07 Normalizing Flow
Normalizing FlowLooking back
VAE特点:
浅层网络
非序列化
重建进行复原image
Autoregressive特点:
深层网络
序列化
可以通过MLE优化
GAN特点:
深层网络
非序列化
通过近似距离用神经网络评估
希望非序列化(image 难以表征为序列),但是可以通过MLE进行优化 -> Normalizing Flow
Normalizing Flow的特点:
深层网络
非序列化
可以通过MLE优化
normalizing flow和AR的区别:normalizing flow是非序列的;换相比于VAE和GAN,可以计算密度,从而可以使用MLE方法优化
标记法:
image -> x
noise -> z
generator -> g(z)
目标:学习g(z),使得g(z)生成结果接近于x
生成模型的流程可由下图所示,我们希望设计一个方法使得给定任意x,我们都能计算出使用生成模型生成出这个sample的概率密度p(x; θ)
若似然函数已知,则可以用MLE进行优化
思路:若g( ...




