Draw an Audio – 中科院联合美团推出的视频生成音频系统
Draw an Audio 是中国科学院自动化研究所和美团点...
Magic 1-For-1是北京大学、Hedra Inc. 和 Nvidia 推出的高效 视频生成 模型,基于优化内存消耗和推理延迟快速生成高质量视频片段。模型将复杂的文本到视频生成任务分解为两个更简单的子任务: 文本到图像生成 和图像到视频生成。基于这种方式,Magic 1-For-1用扩散步骤蒸馏技术,显著加速模型的收敛速度,基于多模态输入(结合文本和视觉信息)进一步提升生成视频的质量和语义一致性。Magic 1-For-1采用模型量化技术,将模型大小从32GB压缩到16GB,能在消费级GPU上高效运行。