【CMU博士论文】深度神经网络鲁棒训练与评估方法，101页pdf

随着机器学习系统被部署到现实世界中的安全关键应用中，确保这些系统的鲁棒性和可信度变得越来越重要。当深度神经网络脆弱的本质被发现时，机器学习鲁棒性的研究引起了大量的关注。对这种行为的迷恋和担忧导致了对对抗鲁棒性的大量研究，这种研究考察的是模型在最坏情况下的扰动输入（即对抗性样本）上的性能。在这篇论文的第一章中，我们展示了对抗性训练方法在开发经验鲁棒深度网络方面的改进。首先，我们显示，通过某些修改，使用快速梯度符号方法的对抗性训练可以产生比以前认为可能的更鲁棒的模型，同时保持相比于其他对抗性训练方法的更低的训练成本。然后，我们讨论我们在对抗性训练过程中发现的过拟合的有害影响，并显示，通过使用基于验证的早期停止，可以极大地提高对抗性训练模型的鲁棒测试性能。对更自然、非对抗性鲁棒性设置的日益关注已经导致研究者们以模型在随机采样输入腐败的平均性能来衡量鲁棒性，这也是标准数据增强策略的基础。在这篇论文的第二章中，我们将平均和最坏情况下的鲁棒性的看似独立的概念，在一个统一的框架下进行概括，这使我们能够在广泛的鲁棒性水平上评估模型。对于实际使用，我们介绍了一种基于路径采样的方法，用于精确地近似这种中间鲁棒性目标。我们使用这个度量来分析并比较深度网络在零射击和微调设置中，以更好地理解大规模预训练和微调对鲁棒性的影响。我们表明，我们也可以使用这个目标来训练模型到中间级别的鲁棒性，并进一步探索更有效的训练方法，以弥补平均和最坏情况下的鲁棒性之间的差距。