微调大规模预训练模型本质上是一项资源密集型任务。虽然它可以增强模型的能力,但也会产生大量的计算成本,给下游任务的实际应用带来挑战。现有的参数高效微调(PEFT)方法,如低秩适应(LoRA),依赖于一种旁路框架,这种框架忽略了不同权重矩阵对参数预算的差异性要求,这可能导致次优的微调结果。为了解决这个问题,我们引入了动态低秩适应(DoRA)方法。

DoRA将高秩的LoRA层分解为结构化的单秩组件,从而允许在训练过程中根据特定任务的重要性动态修剪参数预算,充分利用有限的参数预算。实验结果表明,与LoRA和全模型微调相比,DoRA可以实现竞争性的性能,并在相同的存储参数预算下优于多种强基线方法。 我们的代码可在以下网址获取: https://github.com/Yulongmao1/DoRA/ https://www.zhuanzhi.ai/paper/41de7e12e74f70868fe0259fe6c47cf8

成为VIP会员查看完整内容
17

相关内容

【WWW2024】知识数据对齐的弱监督异常检测
专知会员服务
20+阅读 · 2月7日
专知会员服务
23+阅读 · 2021年9月22日
专知会员服务
37+阅读 · 2021年4月25日
专知会员服务
19+阅读 · 2021年3月12日
专知会员服务
41+阅读 · 2020年2月20日
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
0+阅读 · 7月4日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
VIP会员
相关VIP内容
【WWW2024】知识数据对齐的弱监督异常检测
专知会员服务
20+阅读 · 2月7日
专知会员服务
23+阅读 · 2021年9月22日
专知会员服务
37+阅读 · 2021年4月25日
专知会员服务
19+阅读 · 2021年3月12日
专知会员服务
41+阅读 · 2020年2月20日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员