Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架

Hallo3是复旦大学和百度公司联合推出的，基于扩散变换器网络（Diffusion Transformer Networks）的肖像图像动画技术，能生成高度动态和逼真的视频。Hallo3基于预训练的变换器视频生成模型，有效解决现有方法在处理非正面视角、动态对象渲染和生成沉浸式背景方面的挑战。Hallo3基于新的视频骨干网络，设计身份参考网络确保视频序列中面部身份的一致性，研究了语音音频条件和运动帧机制，实现由语音音频驱动的连续视频生成。实验表明，Hallo3在生成具有多种方向的逼真肖像方面表现出色，能适应复杂姿势和动态场景，产生逼真且平滑的动画效果。

官网：https://github.com/fudan-generative-vision/hallo3

立即打开官网