参考资料

1. 【大白话02】一文理清 VAE 变分自编码器 | 原理图解+公式推导_哔哩哔哩_bilibili

1、什么是生成模型？

在概率统计理论中：

生成模型是指能够在给定某些隐含参数的条件下随机生成观测数据的模型，它给观测值和标注数据序列指定一个联合概率分布。

2、图像分布

图像分布 是指所有可能图像的概率分布，表示一个随机变量在图像空间中的分布规律。它反映了图像数据的统计特性。

图像分布可以表示为 ，其中：

•  是一个图像，通常是高维张量（例如 ，表示高 、宽 、通道数  的像素值）。
•  是这个图像  的概率密度或概率值。

简单来说，图像分布描述了哪些图像更常见，哪些图像不太可能出现。

3、变分自编码器（Variational Autoencoder, VAE） 

变分自编码器（Variational Autoencoder, VAE）是一种生成模型，广泛用于数据生成任务，如图像生成、特征提取等。它结合了概率图模型和深度学习技术，基于变分推断实现高效的概率建模。其基本思路是：把一堆真实样本通过编码器网络变换成一个理想的数据分布，然后这个数据分布再传递给一个解码器网络，得到一堆生成样本，生成样本与真实样本足够接近的话，就训练出了一个VAE模型。

VAE 旨在学习数据的潜在表示 并通过这种表示生成原始数据 。

通过最大化边际似然 ，VAE 同时完成生成和编码的任务。

VAE 主要由两部分组成，分别是编码器 encoder 和解码器 decoder。

3.1 编码器：

从图像  到潜在变量  真实的后验分布:

但由于  难以直接计算，VAE 使用一个简单的分布   来近似   。通过神经网络从数据  学习到潜在表示  的参数（均值 和标准差 ），即：

 是潜在变量的均值。

 是潜在变量的协方差矩阵。

 3.2 解码器：

VAE 的解码器部分的主要任务是将潜在空间的表示  转换回数据空间的重构数据 ，从而模拟生成数据的过程。

解码器将潜在变量  还原为原始数据  的条件概率分布为。

3.3 先验分布：

通常选择标准正态分布作为潜在变量  的先验： 

3.4 重参数化技巧:

为了对 采样并反向传播，VAE 引入重参数化技巧，将  的随机性外移：

3.5 证据下界（ELBO，Evidence Lower Bound）

 最终的优化目标可以看作是均方误差（MSE）和KL散度。

3.6 Train