【NeurIPS2024】PACE：将参数高效微调中的泛化与一致性正则化结合起来

参数高效微调（PEFT）有效地将预训练的视觉变换器适应于下游任务。然而，任务性能的优化往往以微调模型的泛化能力为代价。为了解决这一问题，我们从理论上将训练过程中较小的权重梯度范数与较大的数据集联系起来，进而改善模型的泛化能力。受此启发，我们提出降低梯度范数以增强泛化能力，并使微调模型与预训练模型对齐，以保留来自大规模预训练数据的知识。然而，简单的对齐并不能保证梯度减少，反而可能导致梯度爆炸，增加管理梯度的难度。为了解决这些问题，我们提出了PACE，将参数高效微调的泛化与一致性正则化相结合。我们通过乘法噪声扰动适配器学习到的特征，确保微调模型在不同扰动下对同一样本保持一致。理论分析表明，PACE不仅隐式地对梯度进行正则化以增强泛化能力，还隐式地对齐微调和预训练模型以保留知识。实验结果支持我们的理论。PACE在四个视觉适应任务中超越了现有的PEFT方法：VTAB-1k、FGVC、少量学习和领域适应。代码将发布在MaxwellYaoNi/PACE上。