【牛津大学博士论文】鲁棒神经网络:评估与构建

神经网络在处理大量数据方面表现优异，从家庭助手到自动驾驶汽车，在很多方面都极大地造福了我们的生活。然而，人们发现神经网络是脆弱的。通过以一种人类察觉不到的方式轻微扰乱输入，神经网络几乎不能做出任何正确的预测。这严重限制了它们在安全关键领域的应用，如医疗健康和金融。在本文中，我们研究了鲁棒神经网络，希望促进神经网络的更广泛和更可靠的应用。具体来说，我们专注于评估和训练鲁棒的神经网络。我们首先考虑鲁棒性评估。评估神经网络鲁棒性的一种常用方法是通过形式化验证，这通常是计算开销很大的。我们为加快这一进程做出了一些贡献。简单地说，我们采用了在统一的分支和定界框架下可以重新制定大多数验证方法的思想。通过直接处理统一框架，对分支和边界组件提出了高层次的改进，包括启发式和学习框架。此外，我们引入了新的数据集，使我们的方法能够与其他现有的方法进行综合比较分析。在构造鲁棒神经网络方面，我们提出了一种新的鲁棒训练算法。许多流行的鲁棒训练方法依赖于强对手，当模型复杂度和输入维数较高时，计算成本较高。我们设计了一个新的框架，可以更有效地利用对手。因此，为了达到类似的性能，可以使用廉价而弱小的对手。在此基础上，介绍了算法ATLAS。我们通过展示ATLAS在几个标准数据集上的出色表现来证明它的有效性和效率。