Jamba – AI21开源的首个基于Mamba架构的大模型

1个月前发布 31 00
收藏 0

Jamba是由AI21 Labs推出的首个基于Mamba架构的生产级别的大语言模型，目前大部分的大模型（如GPT、Gemini 和 Llama）都是基于 Transformer 结构。而 Jamba 结合了 Mamba 结构化状态空间模型（SSM）和 传统Transformer 架构，兼具了高质量输出、高吞吐量和低内存占用的优点。该混合结...

收录时间：
2025-12-16
打开网站手机查看
Jamba – AI21开源的首个基于Mamba架构的大模型Jamba – AI21开源的首个基于Mamba架构的大模型
Jamba – AI21开源的首个基于Mamba架构的大模型打开网站

Jamba是由AI21 Labs推出的首个基于Mamba架构的生产级别的大语言模型，目前大部分的大模型（如GPT、Gemini 和 Llama）都是基于 Transformer 结构。而 Jamba 结合了 Mamba 结构化状态空间模型（SSM）和 传统Transformer 架构，兼具了高质量输出、高吞吐量和低内存占用的优点。该混合结构的模型提供了256K的上下文窗口，显著提升了处理长文本时的吞吐量和效率。

官网：https://www.ai21.com/jamba


立即打开官网

数据统计

相关导航

标签云