【IJCAI2025】用于大型语言模型的块循环适配器

由于大型语言模型（LLMs）的庞大模型规模，微调这些模型非常困难。近期基于傅里叶域的方法在减少微调成本方面表现出了潜力。我们提出了一种基于块循环矩阵的微调方法，并采用稳定的训练启发式方法，利用循环矩阵和一维傅里叶变换的性质，以降低存储和计算成本。实验表明，我们的方法比VeRA少使用14倍的参数，比LoRA小16倍，比FourierFT少使用32倍的FLOP，同时保持接近或更好的任务性能。我们的方法在频域中为下游任务微调大型模型提供了一种有前景的方案。