赤兔Chitu – 清华联合清程极智开源的大模型推理引擎
Chitu(赤兔)是清华大学高性能计算研究所与清程极智联合开...
BlueLM-V-3B是vivo AI Lab和香港中文大学MMLab联合推出的算法和系统协同设计方法,支持高效部署多模态大型语言模型(MLLM)至移动设备。模型以小尺寸(2.7B语言参数和400M视觉参数)、快速度(24.4 token/s生成速度)和强性能(OpenCompass基准测试中得分66.1)为特点,基于优化动态分辨率方案和硬件感知部署,提升模型在手机上的推理效率和性能。