【预训练论文】预训练Transformer校准，Calibration of Pre-trained Transformers

题目

预训练Transformer校准，Calibration of Pre-trained Transformers

关键字

自然语言处理，预训练语言模型，Transformer，模型校准优化

简介

现在，经过预训练的Transformer在自然语言处理中无处不在，但是尽管它们具有很高的最终任务性能，但从经验上对它们是否经过校准的了解很少。具体地说，这些模型的事后概率是否可以提供准确的经验度量，以证明该模型在给定示例上正确的可能性有多大？我们专注于BERT（Devlin等人，2019）和RoBERTa（Liu等人，2019），并在三个任务上分析其校准：自然语言推理，释义检测和常识推理。对于每项任务，我们都会考虑域内以及具有挑战性的域外设置，在这些设置中，模型面临着更多不确定的示例。我们证明：（1）开箱即用的预训练模型在域内进行校准，并且与基线相比，其域外的校准误差可低3.5倍;（2）温度缩放有效地进一步减小了域内的校准误差，并且使用标签平滑来故意增加经验不确定性有助于域外后验校正。

作者

Shrey Desai and Greg Durrett ，德克萨斯大学奥斯汀分校计算机科学系。