高容量预训练模型的出现已经彻底改变了计算机视觉中的问题解决方式,从训练特定任务的模型转变为调整预训练的模型。因此,有效地将大型预训练模型适应到下游任务中已经成为一个突出的研究领域。现有的解决方案主要集中在设计轻量级的适配器以及它们与预训练模型的交互上,目的是最小化需要更新的参数数量。在本研究中,我们提出了一种新颖的适配器重组 (ARC) 策略,从一个全新的角度解决有效地预训练模型的适应问题。我们的方法考虑了适应参数的可重用性,并引入了一个参数共享方案。具体来说,我们利用对称的下/上投影来构建瓶颈操作,这些操作在各个层之间共享。通过学习低维度的重新缩放系数,我们可以有效地重新组合层适应的适配器。这种在适配器设计中的参数共享策略允许我们在保持满意的性能的同时显著减少新参数的数量,从而为压缩适应成本提供了一个有前景的方法。我们使用各种视觉变压器变体,在24个下游的图像分类任务上进行了实验来评估我们的方法。结果表明,我们的方法在减少参数数量的同时,实现了引人注目的迁移学习性能。

我们的代码可在以下地址找到:https://github.com/DavidYanAnDe/ARC。

成为VIP会员查看完整内容
18

相关内容

【NeurIPS2021】多模态虚拟点三维检测
专知会员服务
18+阅读 · 2021年11月16日
【NeurIPS2021】ResT:一个有效的视觉识别转换器
专知会员服务
22+阅读 · 2021年10月25日
专知会员服务
22+阅读 · 2021年9月27日
专知会员服务
18+阅读 · 2021年9月13日
专知会员服务
24+阅读 · 2021年7月8日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
147+阅读 · 2023年3月24日
VIP会员
相关VIP内容
【NeurIPS2021】多模态虚拟点三维检测
专知会员服务
18+阅读 · 2021年11月16日
【NeurIPS2021】ResT:一个有效的视觉识别转换器
专知会员服务
22+阅读 · 2021年10月25日
专知会员服务
22+阅读 · 2021年9月27日
专知会员服务
18+阅读 · 2021年9月13日
专知会员服务
24+阅读 · 2021年7月8日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员