MobileLLM – Meta推出的适合移动端的语言模型

MobileLLM是Meta为移动设备用例优化设计的十亿参数以下的大型语言模型，能解决云成本上升和延迟问题。MobileLLM基于深薄架构、嵌入共享和分组查询注意力机制等设计，实现在参数少于十亿的情况下获得高质量的语言模型。MobileLLM-125M/350M在零样本常识推理任务上相比先前的模型显著提升准确率，且MobileLLM家族在聊天基准测试中显示出对小型模型的显著改进，在API调用任务中展示了与LLaMA-v2 7B相当的准确性，突显小模型在常见设备用例中的潜力。

官网：https://github.com/facebookresearch/MobileLLM

立即打开官网