【牛津大学博士论文】深度生成模型的鲁棒性、结构性和层次性，241页pdf

深度学习为我们提供了越来越复杂的神经网络，可以通过梯度上升来调整，以最大化某些目标。贝叶斯统计为我们提供了一种原则性和统一的方法来指定统计模型和执行推断。将这两种方法配对的一种有效方法产生了深度生成模型(DGM)，其中概率模型中统计参数之间的映射本身使用神经网络进行参数化。在本文中，我们研究了这种方法可以用于解决机器学习中的各种问题的方法，以及由此产生的模型的属性。在这篇论文中，有三个反复出现的主题，鲁棒性，结构和层次，贯穿始终。

首先研究如何构建一个深度生成模型，以在一种称为半无监督学习的新学习机制中进行学习。这是半监督学习的一个极端情况，对于某些类别的数据，没有给定的标记示例。在学习将数据划分为不同的成分，不同的基础真值类时，模型必须能够在未标记的类上进行聚类，并在给出了一些标记示例的类上进行半监督学习。本文展示了如何在一系列标准数据集上实现这一点。

从处理一个离散潜变量聚类分配开始，研究具有离散潜变量层次结构的模型。我们提出了一种新的方法来参数化这种类型的模型中的潜在变量，放松的责任向量量化，可以训练非常深的潜在变量层的层次结构。该方法在一系列标准数据集上，对端到端的分层离散DGM进行训练，在最大化数据证据(训练和测试集)的下界方面取得了最先进的结果。在这样做的过程中，这些模型有助于缩小具有离散潜在的分层DGM和具有连续潜在的分层DGM之间的差距，并提供极其稳定的训练。

然后我们切换到另一个问题，如何构建一个模型，以有效地从高维数据中学习统计独立的潜在表示。本文提出一种分层方法，使用双射函数flow来产生一个中间表示，然后由高度约束的线性独立成分分析(ICA)模型起作用。与其他方法相比，这导致了在各种玩具和真实数据集上的优越性能。

然后，研究迄今为止未考虑的问题，即如何使DGM对对抗性攻击具有鲁棒性。对这些模型的潜空间进行正则化可以可靠地诱导鲁棒性，并通过将这种正则化应用于分层的DGM来获得更鲁棒的模型。最后，从理论角度研究了DGM算法的鲁棒性问题。我们定义r-鲁棒性，DGM鲁棒性的新标准，然后得出该标准上的间隔，在该间隔内的模型可以说是鲁棒的。与潜空间被正则化的各种DGM的最佳模型的新理论相结合，这种间隔的形式有助于了解这种正则化如何提高鲁棒性。

**本文提出的工作表明，深度学习和贝叶斯统计的结合是多么有效，并提供了对他们的组合所产生的模型本质的见解。**这为这两个方向开辟了新的研究——为建立在所提出工作之上的新模型，也为研究深度生成模型的理论工作开辟了新途径。

https://ora.ox.ac.uk/objects/uuid:fa76ad20-30bb-48a3-8ae4-56da578a1767