复旦大学与字节跳动携手开发出先进的从布局到图像转换技术——InnovateDesign

CreaitLayout指的是什么

CreatiLayout 是由复旦大学与字节跳动共同研发的一种创新性图像从布局生成（L2I）技术。该技术基于一个大型的布局数据集 LayoutSAM 构建而成，这个数据集中包含 270 万幅带有文本描述的图片和超过 1070 万个实体标签，每个标签都详尽地标注了颜色、形状及纹理等特征信息。CreatiLayout 的关键技术是 SiamLayout 框架，它将布局视为一种独立的数据模式，并通过 MM-DiT 内置的多模态注意力机制实现了布局与图像数据之间的有效交互，从而显著改善了跨模态竞争的问题。此外，为了更好地帮助用户生成和改进他们的设计草案，CreatiLayout 还集成了 LayoutDesigner 工具，该工具依托强大的语言模型支持，并能够接受多种输入格式作为指导信息，包括中心点定位、遮罩图、草图以及文本描述等。

CreasiStructure的核心特性

• 高清晰度图片创作利用孪生多模态扩散变换器(Siamese Multimodal Diffusion Transformer)技术，CreatiLayout 可以创建出精细且高度可控制的优质图像。该系统能够准确地描绘复杂特征，包括色彩、质地和形态等方面。
• 设计创建及改进利用 LayoutDesigner 工具，CreatiLayout 能够依据用户的多样化输入信息（包括但不限于中心点位置、遮罩图案、手绘草图及文字说明等），创造出并改进布局方案。这使得用户能够更加自如地传达设计理念，从而生成既协调又吸引人的视觉布局。
• 大型数据集合的支持CreatiLayout 发布了一个大型布局数据库 LayoutSAM，其中收录了270万幅配有文字说明的图像以及总计1070万个详细的项目标记。每项标注均细致地涵盖了色彩、形态和材质特征等方面的信息，极大地丰富了模型训练所需的数据资源。
• 多种模式互动在 CreatiLayout 的设计中，布局数据被处理为一个单独的模式，并利用 MM-DiT 中的 MM-Attention 机制来促进其与视觉信息之间的互动。

CreatiLayout的核心技术机制

• 双生多种模式扩散转换器CreaitLayout 利用此种转换技术达成高质且精细控制的图片创作，并能够高效管理包含图像、文字及排版资讯在内的多元数据模式。
• SiamLayout 结构该系统把布局信息当作一种独立模式来处理，并赋予它与文字和图片模式同等的重要性。利用 MM-DiT 内置的多模态注意力机制（MM-Attention），实现了布局模式和图片模式之间的互动，有效解决了不同模式间的竞争问题，进而强化了布局对整体结构的指导功能。具体而言，图像、文本以及布局这三个元素之间的相互作用被拆解成两个独立但平行的过程：一个是图像与文本交互的分支；另一个是图像与布局交互的路径。这样的设计使得文字和布局可以分别且有效地引导图片内容的发展而不互相影响。
• 界面布局设计师利用大型语言模型来进行布局面向的规划与改进，该系统允许使用者借助各种不同的输入方式（包括但不限于焦点元素设定、遮罩技术应用、初步构想绘制以及文字叙述等形式）来创造并完善其布局设计。

CreatiLayout的工程链接

• 官方网站PROJECT：https://creatilayout.pages.dev/

  注：提供的URL内容无法展示，因此这里假设是对一个网站或页面的链接进行了简单的表述调整。若需对具体内容进行伪原创改写，请提供具体的文本内容。

• GitHub代码库：在GitHub上可以找到HuiZhang0812创建的项目CreatiLayout，链接如下所示。
• arXiv科技文章访问该链接可以获得一篇学术论文的PDF版本：https://arxiv.org/pdf/2412.03859，此文档包含了详细的研究内容。
• 网上试用演示版本：访问此链接以查看HuiZhang0812创建的CreatiLayout项目页面 – https://huggingface.co/spaces/HuiZhang0812/CreatiLayout

CreaitLayout的使用情境

• 设计推广海报设计者能够借助 CreatiLayout 迅速创作出高品质且契合期待的宣传海报。
• 家居布局改进CreaitLayout 可以精准分析每件家具的大小与位置，并制作出高度真实的室内设计图。
• 视觉设计创作能够助力开发者发掘新颖的视觉呈现与样式，借助对布局及图象细部的精准把控，打造更加独特且引人入胜的游戏场景。
• 教育素材创作老师能够利用 CreatiLayout 以丰富的图文结合方式展示教学内容。