由于大型语言模型(LLMs)的庞大模型规模,微调这些模型非常困难。近期基于傅里叶域的方法在减少微调成本方面表现出了潜力。我们提出了一种基于块循环矩阵的微调方法,并采用稳定的训练启发式方法,利用循环矩阵和一维傅里叶变换的性质,以降低存储和计算成本。实验表明,我们的方法比VeRA少使用14倍的参数,比LoRA小16倍,比FourierFT少使用32倍的FLOP,同时保持接近或更好的任务性能。我们的方法在频域中为下游任务微调大型模型提供了一种有前景的方案。

成为VIP会员查看完整内容
2

相关内容

【AAAI2025】用于高保真3D重建的多视图条件扩散模型
专知会员服务
19+阅读 · 2024年12月12日
【AAAI2024】基于扩散语言模型的文本引导分子生成
专知会员服务
28+阅读 · 2024年2月21日
【AAAI2024】基于对比上下文学习的自定义语言模型响应
专知会员服务
26+阅读 · 2024年2月1日
【ICML2023】基于最优多任务插值的多模态基础模型迁移
专知会员服务
31+阅读 · 2023年4月29日
【ICML2023】基于自然语言指令的受控文本生成
专知会员服务
29+阅读 · 2023年4月28日
专知会员服务
22+阅读 · 2021年10月8日
专知会员服务
23+阅读 · 2021年9月27日
专知会员服务
12+阅读 · 2021年7月16日
专知会员服务
38+阅读 · 2021年6月3日
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Arxiv
168+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
453+阅读 · 2023年3月31日
Arxiv
76+阅读 · 2023年3月26日
Arxiv
24+阅读 · 2023年3月17日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
【AAAI2025】用于高保真3D重建的多视图条件扩散模型
专知会员服务
19+阅读 · 2024年12月12日
【AAAI2024】基于扩散语言模型的文本引导分子生成
专知会员服务
28+阅读 · 2024年2月21日
【AAAI2024】基于对比上下文学习的自定义语言模型响应
专知会员服务
26+阅读 · 2024年2月1日
【ICML2023】基于最优多任务插值的多模态基础模型迁移
专知会员服务
31+阅读 · 2023年4月29日
【ICML2023】基于自然语言指令的受控文本生成
专知会员服务
29+阅读 · 2023年4月28日
专知会员服务
22+阅读 · 2021年10月8日
专知会员服务
23+阅读 · 2021年9月27日
专知会员服务
12+阅读 · 2021年7月16日
专知会员服务
38+阅读 · 2021年6月3日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员