Baichuan-Audio – 百川智能开源的端到端语音交互模型

Baichuan-Audio是百川智能推出的端到端音频大语言模型，支持无缝集成音频理解和生成功能，实现支持高质量、可控的实时中英双语对话。Baichuan-Audio基于多码本离散化技术将音频信号转化为离散标记，保留语义和声学信息，用独立的音频头增强音频特征处理能力。模型基于两阶段预训练策略，结合交错数据训练，平衡音频建模和语言理解能力。Baichuan-Audio在实时语音对话、问答、 语音识别 （ASR）和 语音合成 （TTS）等任务中表现出色，Baichuan-Audio开源的训练数据和模型为语音交互研究提供了重要资源。

官网：https://github.com/baichuan-inc/Baichuan-Audio

立即打开官网