【ICML2025】SparseLoRA：利用上下文稀疏性加速大语言模型微调

微调大语言模型（LLMs）通常既计算密集又占用大量内存。虽然诸如 QLoRA 和 DoRA 等参数高效微调方法能够减少可训练参数数量并降低内存使用，但它们并未降低计算成本，某些情况下甚至可能导致微调变慢。本文提出了 SparseLoRA，一种通过上下文稀疏性加速大语言模型微调的方法。我们引入了一种轻量级、无需训练的 SVD 稀疏性估计器，可动态选择用于损失和梯度计算的稀疏权重子集。此外，我们系统性地分析并解决了跨层、跨 token 以及跨训练步骤的敏感性问题。实验结果表明，SparseLoRA 在保持多种下游任务（包括常识与算术推理、代码生成和指令跟随）精度的同时，最多可减少 2.2 倍的计算开销，并实现 最多 1.6 倍的实际加速。