【MIT博士论文】机器学习模型鲁棒性的探索、改进与验证，208页pdf

机器学习模型在面对分布变化时很脆弱，这使得它们在现实世界的部署中很难依赖。这促使开发方法，使我们能够检测和减轻这种模型的脆弱性，以及验证我们的模型确实满足期望的鲁棒性保证。本文提出了一套工具，帮助我们检测模型漏洞和偏差。该集合包括一套新的数据集，使我们能够更细粒度地了解模型对背景的依赖。另一方面，它涉及3DB，一个利用逼真模拟的框架，以探测模型对更多样化分布变化的脆弱性。除了识别这些漏洞外，还讨论了可以使模型对分布变化更鲁棒的干预措施，包括使用更多的训练数据。正如所证明的，不加区分地使用更多的辅助数据并不总是有益的，因此提出了数据集投影，一种选择要使用的"正确"辅助数据的方法。展示了如何有效和形式化地验证所提出模型对研究最充分的分布漂移类型之一是鲁棒的:逐像素对抗性扰动。