MiLoRA – 上海财经、南方科技和清华大学联合推出针对LLMs的微调方法

MiLoRA是参数高效的大型语言模型（LLMs）微调方法，通过更新权重分量来矩阵的次要奇异 减少计算和内存成本。方法基于奇异值分解（SVD）将权重矩阵分为主要和次要两部分，主要部分包含重要知识，次要部分包含噪声或长尾信息。在微调过程中，MiLoRA保持主要部分不变，只优化次要部分，在适应新任务的同时保留预训练模型的知识。实验表明，MiLoRA在多个基准测试中性能优于传统方法，训练和推理效率更高。

官网：https://arxiv.org/pdf/2410.18035

立即打开官网