【博士论文】学习对象和关系的结构化表示

本论文探讨了如何通过帮助机器学习系统克服绑定问题，使其具备更接近人类的智能。具体来说，我们希望神经网络能够灵活、动态地表示并关联不同的实体。论文分为两部分。第一部分，我们研究了基于图的表示中的归纳偏置；第二部分，我们开发并研究了一种新的表示格式，以解决绑定问题。我们的主要贡献如下：

• 我们提出了摊销因果发现（Amortized Causal Discovery, ACD） [105, 第三章]，这是一个全新的因果发现框架，可以在具有不同底层因果图但共享动态的样本之间推断因果关系。我们证明了该方法在完全观察环境下以及在存在噪声和隐藏混杂因素的情况下都能提升性能，并使模型能够推广到之前未见的测试样本。
• 我们提出了复杂自编码器（Complex AutoEncoder, CAE） [107, 第四章]，这是一种对象发现模型，采用了一种新的对象表示格式。通过在卷积自编码器中引入复数激活，CAE可以通过激活值的幅度来表示对象属性，并通过相位值来表示对象关联。这种无监督方法在简单的多对象数据集上展示了强大的对象发现能力，并且训练速度显著提升。
• 我们提出了旋转特征（Rotating Features） [106, 第五章]，它是复杂自编码器的扩展，将这一方法从简单的玩具数据扩展到真实数据。为实现这一点，我们提出了三项改进：我们将CAE的复数激活推广到更高维度，介绍了一种新的评估流程，并将预训练特征引入我们的方法中。
• 我们提出了一种新颖的余弦绑定机制用于旋转特征 [108, 第六章]。该机制使我们能够更好地理解旋转特征在学习通过对象的方向值来分离对象时所需的动态机制。