MoCha – Meta 联合滑铁卢大学推出的端到端对话角色视频生成模型

MoCha AI 是 Meta 和滑铁卢大学联合开发的端到端对话角色 视频生成 模型。能根据文本或语音输入生成带有同步语音和自然动作的完整角色动画。MoCha 采用语音-视频窗口注意力机制，解决了视频压缩时音频分辨率不匹配以及唇部动作错位的问题。支持多角色轮换对话，能生成具有情感表达和全身动作的角色动画。官网：https://arxiv...