MT-TransformerEngine – 摩尔线程开源的高效训练与推理优化框架

MT-TransformerEngine 是摩尔线程开源的高效训练与推理优化框架，专为 Transformer 模型设计。框架通过算子融合、并行加速等技术，充分基于摩尔线程全功能 GPU 的计算潜力，显著提升训练效率。支持 FP8 混合精度训练，借助 GPU 的原生 FP8 计算能力，进一步优化性能和稳定性。MT-TransformerEngine 与 MT-MegatronLM 协同，实现高效的混合并行训练，适用于 BERT、GPT 等大型模型。

官网：https://github.com/MooreThreads/MT-TransformerEngine

立即打开官网