CreatiLayout – 复旦和字节联合推出创新的布局到图像生成技术

CreatiLayout 是复旦大学和字节跳动联合提出的创新的布局到 图像生成 （Layout-to-Image, L2I）技术。通过构建大规模的布局数据集 LayoutSAM，包含 270 万图像-文本对和 1070 万个实体标注，每个实体都详细描述了颜色、形状、纹理等属性。CreatiLayout 的核心在于其 SiamLayout 框架，框架将布局信息视为一种独立的模态，通过 MM-DiT 原生的 MM-Attention 实现布局与图像模态的交互，有效解决了模态竞争问题。此外，CreatiLayout 还引入了 LayoutDesigner，基于大语言模型帮助用户生成和优化布局，支持多种输入方式，如中心点、掩码、草图和文本描述等。

官网：https://github.com/HuiZhang0812/CreatiLayout

立即打开官网