【MIT博士论文】可部署的鲁棒文本分类器

文本分类作为自然语言处理的基本任务已经被研究了几十年。部署分类器能实现更高效的信息处理，这对于各种应用（包括决策制定）都非常有用。然而，分类器也存在挑战性和长期的问题。随着它们的使用增加，人们对其鲁棒性、公平性、准确性和其他指标的期望也随之增加。在本论文中，我们的目标是开发更易于部署且鲁棒性更强的文本分类器，重点关注通过开发攻击和防御方法来提高分类器对抗对手攻击的鲁棒性。对手攻击对文本分类器来说是一个安全隐患，因为它们涉及恶意用户微调一个句子以操纵分类器的输出的情况。为了设计更有效的攻击方法，我们首先关注提高对抗句子质量 - 与现有的优先考虑误分类并忽略句子相似性和流畅性的方法不同，我们将这三个标准综合为一个综合评分。然后，我们概述了一个重写和回滚框架，用于优化这个分数并在提高相似性和流畅性的同时实现最先进的攻击成功率。其次，我们关注计算需求。现有方法通常使用组合搜索来查找更改多个单词的对抗性示例，这些方法效率低下且需要向分类器发出许多查询。我们通过提出单词对抗性扰动攻击来克服这个问题。这种攻击只需要用一个高对抗性单词替换原句中的一个单词，从而显著提高效率，同时攻击成功率与现有方法相似。接下来我们研究防御。目前，防御攻击的最常用方法是使用对抗性示例作为数据增强来训练分类器，但这种方法受到许多攻击方法低效的限制。我们证明通过使用我们高效的单词扰动攻击进行数据增强训练分类器可以提高分类器对其他攻击方法的鲁棒性。我们还设计了原位数据增强，以抵消分类器输入中的对抗性扰动。我们使用梯度范数来识别分类的关键词，并使用预训练的语言模型替换它们。我们的原位增强可以有效提高鲁棒性，而不需要调整分类器。最后，我们探讨了一个非常新颖的文本分类架构——基于提示的分类器的脆弱性，发现它们同样容易受到攻击。我们还开发了一个名为Fibber的库，以促进对抗性鲁棒性研究。

https://dspace.mit.edu/handle/1721.1/150071