生成模型基础 08 Diffusion Model
Difussion ModelWhy we introduce diffusion in generative modeling
x为复杂分布无法表达，但是可以通过“扩散”，形成可以建模的简单分布z~N(0, I)
核心思路：如果能够逆转这一过程，则可以重新得到x，完成生成模型的目标
问题：
高维image如何变成噪声
如何逆转这一过程z -> x
如何训练模型
Forward process
forward pass:image -> noise
标记法：
image -> x0
image(data)服从的分布:q(x0)
随机变量x服从高斯分布:N(𝑥; 𝜇, 𝜎²𝐼)
从高斯分布中采样:𝑥 = 𝜇 + 𝜖𝜎
前传的过程不断加噪，一共加T次，每次加一点
可以从中sample中x1：
式子的前项可以理解为减弱x0中原来含有的信息，而后一项可以认为加入噪声信息𝜖1
后续的加噪过程与q(x1|x0)，相似，可以依次计算q(x2|x1)，采样出x2，……
从而可得递推公式：
计算和上上 ...
生成模型基础 07 Normalizing Flow
Normalizing FlowLooking back
VAE特点：
浅层网络
非序列化
重建进行复原image
Autoregressive特点：
深层网络
序列化
可以通过MLE优化
GAN特点：
深层网络
非序列化
通过近似距离用神经网络评估
希望非序列化(image 难以表征为序列)，但是可以通过MLE进行优化 -> Normalizing Flow
Normalizing Flow的特点：
深层网络
非序列化
可以通过MLE优化
normalizing flow和AR的区别：normalizing flow是非序列的；换相比于VAE和GAN，可以计算密度，从而可以使用MLE方法优化
标记法：
image -> x
noise -> z
generator -> g(z)
目标：学习g(z)，使得g(z)生成结果接近于x
生成模型的流程可由下图所示，我们希望设计一个方法使得给定任意x，我们都能计算出使用生成模型生成出这个sample的概率密度p(x; θ)
若似然函数已知，则可以用MLE进行优化
思路：若g( ...