【ICML2023】基于最优多任务插值的多模态基础模型迁移

基础模型在多任务学习方面取得了很大的进展，实现了统一的单模态和多模态任务接口。然而，在迁移学习过程中，这类多任务学习器的潜力尚未得到充分利用。在这项工作中，我们提出了一种通用的参数高效迁移学习方法，称为预测-插值调优（π-调优），适用于视觉、语言和视觉-语言任务。它汇集了从类似任务中学到的轻量级任务特定专家的参数，以帮助目标下游任务。任务相似性在统一的模态无关空间中进行预测，形成一个可扩展的图表来展示任务之间的关系。π-调优具有几个吸引人的优点。首先，它灵活地探索了相似任务之间的内部和跨模态可转移性，以提高迁移学习的准确性和鲁棒性，特别是在数据稀缺的情况下。其次，它为迁移学习提供了一种系统性解决方案，通过多任务预测-然后插值，兼容各种类型的参数高效专家，如提示和适配器。第三，对14个单模态和6个多模态数据集的任务级别相互利益的广泛研究表明，π-调优在全射击和低射击条件下均优于微调和其他参数高效迁移学习方法。任务图还使得跨模态任务可转移性的深入可解释分析成为可能。相关代码将在https://github.com/TencentARC/pi-Tuning 上提供。