DiTCtrl – 港中文联合腾讯等机构推出的多提示视频生成方法
DiTCtrl是基于多模态扩散变换器(MM-DiT)架构的多...
Pippo是Meta Reality Labs推出的图像到 视频生成 模型,能从单张照片生成1K分辨率的多视角高清人像视频。模型基于多视角扩散变换器,预训练了30亿张人像图像,在2500张工作室捕捉的图像上进行了后训练。Pippo的核心技术包括ControlMLP模块,用于注入像素对齐的条件,以及注意力偏差技术,能在推理时生成比训练时多5倍以上的视角。Pippo引入了重投影误差,用于评估多视角生成的3D一致性。