KTransformers – 清华开源的大语言模型推理优化框架

1个月前发布 25 00
收藏 0

KTransformers是清华大学KVCache.AI团队联合趋境科技推出的开源项目，能优化大语言模型的推理性能，降低硬件门槛。KTransformers基于GPU/CPU异构计算策略，用MoE架构的稀疏性，支持在仅24GB显存的单张显卡上运行DeepSeek-R1、V3的671B满血版，预处理速度最高达到286 tokens/s，推理...

收录时间：
2025-12-16
打开网站手机查看
KTransformers – 清华开源的大语言模型推理优化框架KTransformers – 清华开源的大语言模型推理优化框架
KTransformers – 清华开源的大语言模型推理优化框架打开网站

KTransformers是清华大学KVCache.AI团队联合趋境科技推出的开源项目，能优化大语言模型的推理性能，降低硬件门槛。KTransformers基于GPU/CPU异构计算策略，用MoE架构的稀疏性，支持在仅24GB显存的单张显卡上运行DeepSeek-R1、V3的671B满血版，预处理速度最高达到286 tokens/s，推理生成速度最高能达到14 tokens/s。项目用基于计算强度的offload策略、高性能算子和CUDA Graph优化等技术，显著提升推理速度。

官网：https://github.com/kvcache-ai/ktransformers


立即打开官网

数据统计

相关导航

标签云