DELIFT – 数据高效语言模型指令微调算法

1个月前发布 25 00
收藏 0

DELIFT（Data Efficient Language model Instruction Fine-Tuning）是基于高效数据优化语言模型指令微调，一种新颖的算法，用在优化大型语言模型（LLMs）在指令调优、任务特定微调和持续微调三个关键阶段的数据选择。基于成对效用度量和次模优化技术，高效选择多样化和最优的数据子集，减少计算资源...

收录时间：
2025-12-16
打开网站手机查看
DELIFT – 数据高效语言模型指令微调算法DELIFT – 数据高效语言模型指令微调算法
DELIFT – 数据高效语言模型指令微调算法打开网站

DELIFT（Data Efficient Language model Instruction Fine-Tuning）是基于高效数据优化语言模型指令微调，一种新颖的算法，用在优化大型语言模型（LLMs）在指令调优、任务特定微调和持续微调三个关键阶段的数据选择。基于成对效用度量和次模优化技术，高效选择多样化和最优的数据子集，减少计算资源消耗，同时保持或提升模型性能。实验显示，DELIFT能将微调数据量减少70%，显著节省计算资源，且效果优于现有方法。

官网：https://arxiv.org/pdf/2411.04425


立即打开官网

数据统计

相关导航

标签云