前言

在当今复杂多变的信息化社会中，网络已成为连接各个领域与个体的桥梁。无论是社交网络、通信网络还是神经网络，都展现出复杂而迷人的结构特性。生成随机网络作为探索这些复杂系统的一种重要手段，近年来受到了广泛的关注与研究。随机网络不仅能够模拟真实世界中的许多复杂现象，还能为我们提供理解这些现象的新视角和方法。

序言

随着计算机技术的飞速发展，生成随机网络的算法和技术日益成熟，使得我们能够创建出规模庞大、结构复杂的网络模型。这些模型在多个领域都发挥着重要作用，如社交网络分析、信息传输优化、疾病传播模拟等。通过深入研究随机网络的生成机制和特性，我们可以揭示出隐藏在复杂系统背后的普遍规律和原理，为解决实际问题提供科学依据和理论指导。

生成随机网络（$\text{GSN}$）

• 生成随机网络 ($\text{generative stochastic network, GSN}$) ($\text{Bengio et al., 2014}$) 是去噪自编码器的推广，除可见变量（通常表示为 $\mathbf{x}$）之外，在生成马尔可夫链中还包括潜变量 $\mathbf{h}$。

• $\text{GSN}$由两个条件概率分布参数化，指定马尔可夫链的一步：

  • $\text{1.}$ $p({\text{x}}^{(k)}\mid {\text{h}}^{(k)})$ 指示在给定当前潜在状态下如何产生下一个可见变量。这种 ‘‘重建分布’’ 也可以在去噪自编码器、 $\text{RBM}$、 $\text{DBN}$和$\text{DBM}$中找到。
  • $\text{2.}$ $p({\text{h}}^{(k)}\mid {\text{h}}^{(k-1)}{\text{x}}^{(k-1)})$ 指示在给定先前的潜在状态和可见变量下如何更新潜在状态变量。

• 去噪自编码器和$\text{GSN}$不同于经典的概率模型（有向或无向），它们自己参数化生成过程而不是通过可见和潜变量的联合分布的数学形式。相反，后者如果存在则隐式地定义为生成马尔可夫链的稳态分布。存在稳态分布的条件是温和的，并且需要与标准$\text{MCMC}$方法相同的条件（见蒙特卡罗方法 - 马尔可夫链蒙特卡罗方法篇）。这些条件是保证链混合的必要条件，但它们可能被某些过渡分布的选择（例如，如果它们是确定性的）所违反。

• 我们可以想象$\text{GSN}$不同的训练准则。由$\text{Bengio et al. (2014)}$ 提出和评估的只对可见单元上对数概率的重建，如应用于去噪自编码器。通过将 ${\text{x}}^{(0)}=\mathbf{x}$ 夹合到观察到的样本并且在一些后续时间步处使生成 $\mathbf{x}$ 的概率最大化，即最大化$\log p({\text{x}}^{(k)}=\mathbf{x}\mid {\text{h}}^{(k)})$，其中给定 ${\text{x}}^{(0)}=\mathbf{x}$ 后， ${\text{h}}^{(k)})$ 从链中采样。为了估计相对于模型其他部分的 $\log p({\text{x}}^{(k)}=\mathbf{x}\mid {\text{h}}^{(k)})$ 的梯度， $\text{Bengio et al. (2014)}$ 使用了在深度生成模型 - 通过随机操作的反向传播篇中介绍的重参数化技巧。

• 回退训练程序（在深度生成模型 - 从自编码器采样篇中描述）可以改善训练$\text{GSN}$的收敛性 ($\text{Bengio et al. 2014}$) 。

判别$\text{GSN}$

• $\text{GSN}$的原始公式 ($\text{Bengio et al., 2014}$) 用于无监督学习和对观察数据 $\text{x}$ 的 $p(\text{x})$的隐式建模，但是修改框架以优化 $p(\text{y}\mid \mathbf{x})$ 是可能的。
• 例如， $\text{Zhou and Troyanskaya (2014)}$ 以如下方式推广$\text{GSN}$，只反向传播输出变量上的重建对数概率，并保持输入变量固定。他们将这种方式成功应用于建模序列（蛋白质二级结构），并在马尔可夫链的转换算子中引入（一维）卷积结构。重要的是要记住，对于马尔可夫链的每一步，我们需要为每个层生成新序列，并且该序列用于在下一时间步计算其他层的值（例如下面一个和上面一个）的输入。
• 因此， 马尔可夫链确实不只是输出变量（与更高层的隐藏层相关联），并且输入序列仅用于条件化该链，其中反向传播使得它能够学习输入序列如何地条件化由马尔可夫链隐含表示的输出分布。因此这是在结构化输出中使用GSN的一个例子。
• $\text{Zo¨hrer and Pernkopf (2014)}$ 引入了一个混合模型，通过简单地添加（使用不同的权重）监督和非监督成本即 $\text{y}$ 和 $\text{x}$ 的重建对数概率，组合了监督目标（如上面的工作）和无监督目标（如原始的$\text{GSN}$）。 $\text{Larochelle and Bengio (2008b)}$ 以前在$\text{RBM}$就提出了这样的混合标准。他们展示了在这种方案下分类性能的提升。

总结

生成随机网络的研究不仅丰富了我们对复杂系统的认识，还为多个领域的实际应用提供了有力支持。通过模拟和分析随机网络，我们能够洞察到网络结构对系统功能的影响，进而优化网络设计，提高系统的效率和稳定性。未来，随着大数据和人工智能技术的不断进步，生成随机网络的研究将更加深入，应用领域也将更加广泛。我们有理由相信，在不久的将来，随机网络将成为连接理论与实践、探索复杂系统奥秘的重要工具。因此，持续关注和深入研究生成随机网络，对于推动科技进步和社会发展具有重要意义。

往期内容回顾

蒙特卡罗方法 - 马尔可夫链蒙特卡罗方法篇
深度生成模型 - 通过随机操作的反向传播篇
深度生成模型 - 从自编码器采样篇