【清华大学】Delta调优:预训练语言模型参数有效方法的综合研究，Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models

随着预训练语言模型(pre- training language model, PLMs)成为各种NLP任务的基础设施，研究人员也很乐意使用预训练微调范式，来自新兴研究的证据不断证明，更大的模型往往产生更好的性能。然而，尽管取得了可喜的成果，但对大规模PLMs进行微调的过程带来了高昂的适应成本。事实上，对一个巨大模型的所有参数进行微调，并为不同的任务保留单独的实例，实际上是不可行的。这就需要一个新的研究分支专注于PLM的参数有效适应。为了激发人们对这些方法可能的优势的想象，而不仅仅是参数效率，我们从形态学的角度创造了一个新的术语delta调优，用来指代最初的“参数高效调优”。与标准的微调相比，增量调优仅微调模型参数的一小部分，而保持其余部分不变，这在很大程度上降低了计算和存储成本。最近的研究表明，一系列具有明显调优参数选择的增量调优方法可以达到与全参数微调相当的性能，这为激发大规模PLMs提供了一种新的有前途的方法。在本文中，我们首先正式描述了增量调优问题，然后全面回顾了最近的增量调优方法。我们还提出了一个统一的分类标准，将现有的增量调优方法分为三组:基于添加的方法、基于规范的方法和基于重参数化的方法。虽然最初提出的是一种控制大型模型的有效方法，但我们相信，随着delta调谐的发现，一些令人着迷的证据可能有助于进一步揭示PLMs甚至深度神经网络的机制。为此，我们讨论了增量调整有效性的理论原理，并分别从优化和最优控制的角度提出了解释增量调整的框架。此外，我们还对有代表性的方法进行了整体的实证研究，对100多个NLP任务的结果显示了不同方法的综合性能比较。实验结果还包括对增量调谐的组合性、标度性和可转移性的分析。为了促进增量调优的研究，我们还开发了一个开源工具包OpenDelta2，它使实践者能够高效、灵活地在plm上实现增量调优。最后，我们讨论了一系列增量调优的实际应用。