阿姆斯特丹大学博士论文《深度表示中的不变性》，96和pdf

在这篇论文中，深度表示中的不变性，我们对学习不变性表示的问题提出了新的解决方案。我们采用两种不同的不变性概念。一个根植于对称群体，另一个根植于因果关系。最后，尽管它们是相互独立发展的，我们的目标是迈出统一这两个不变性概念的第一步。我们提出了一个基于神经网络的排列不变聚合算子，它对应于注意机制(第2节)。我们开发了一种新的集合分类方法。值得注意的是，所提出的基于注意力的算子的应用可以深入了解每个元素对集合标签的贡献。我们发现面向应用的研究领域，如医学成像或机器人，数据增强技术用于学习域不变特征。通过描述因果概念如何削弱观察到的域和任务标签之间的伪相关(第3节)，我们演示了因果概念可以用来解释数据增强的成功。我们演示了数据增强可以作为模拟介入数据的工具。我们利用这些理论见解来推导一个简单的算法，它能够选择数据增强技术，从而导致更好的领域泛化。我们提出了一种新颖的因果减少方法(第4节)，将任意数量的可能高维潜在混杂物替换为与治疗变量位于同一空间的单个潜在混杂物，而不改变因果模型所包含的观察和介入分布。在简化之后，我们使用一种灵活的转换类参数化简化的因果模型，称为规范化流。我们提出了一种从观测数据和介入数据联合估计参数化简化模型的学习算法。我们提出了域不变变分自动编码器(第5节)，这是一种生成模型，通过学习三个独立的潜在子空间来解决域移位问题，一个用于域，一个用于类，一个用于任何残留变化。我们表明，由于我们的模型的生成特性，我们也可以合并来自已知或以前未见领域的未标记数据。