梦全图 – 香港中文大学及字节跳动等机构联合开发的综合图像创作与修改系统

DreamOmni代表什么

DreamOmni 是由香港中文大学、字节跳动及香港科技大学联合开发的一款集成了图像创作与修改功能的统一模型。该模型涵盖了从文本转图像(T2I)生成到各种修饰操作，如基于指令的调整、修复工作、拖放编辑以及参照图片创建等功能。DreamOmni 采用了一条高效的数据合成管线来解决高质量编辑数据制作上的挑战，并支持其训练与扩展需求。通过同步训练T2I任务和多种编辑功能，模型提升了对概念的理解能力并改善了图像生成的质量。在一系列详尽的测试中，DreamOmni 在图像创建及修改方面表现出众，性能卓越。

DreamOmni的核心特性

• 整合图像创造与修改功能DreamOmni 拥有处理文本转图像生成及各类图像修改功能的能力，包括根据指示进行编辑、修复工作（例如恢复损坏部分与扩大范围）、通过拖放方式进行的编辑以及基于样本图片创造新图。
• 生成数据流过程运用类似于贴纸的组件，可以高效且精准地构建大量优质编辑资料，助力于统一模型的学习过程。
• 协同培训通过融合T2I数据及各类编辑作业的资料来进行培训，以加深模型对于特定概念的认知水平，优化生成效果，并提高其编辑能力。
• 支持多种任务处理该模型具备理解并实施包括增加、删除与置换在内的多种操作的能力，并且能够应对如移动、旋转变换以及调整大小之类的图像编辑工作。

DreamOmni的核心技术机制

• 结构规划结合T2I模型和各类编辑工作，以达成多任务学习的目标。
• 视像与文字结合的模型（VLModel）通过运用VLM统一编码技术来整合视觉与语言指令，并将这些经过处理的指令同噪音潜在表达相融合，以达成协同运算的目标。
• 生成合成数据利用合成拼贴数据流程，DreamOmni 可以制作精准的修改数据，并且兼容增删改等操作以及提供拖放编辑和参照图片生成功能。
• 多种格式输入的相容性DreamOmni 的架构简洁，并支持多种类型的输入模式，这使得它能够应对复杂指令及图像相关的要求。
• 培训方案DreamOmni 实施了分级别的培训方法，通过从较低清晰度逐渐过渡到较高清晰度的步骤来提升模型的表现力及培训效果。
• 改进技术采用类似 Rectified Flow 的技术来改进模型，在噪声与实际数据间通过线性内插实现正向处理流程，从而增强生成效果并提升工作效率。

DreamOmni项目的所在地

• 官方网站项目https://github.io/zj-binxia/DreamOmni-ProjectPage
• 关于arXiv上的科技文章访问该链接可获取文章的PDF版本：https://arxiv.org/pdf/2412.17098，内容保持原意但以不同的方式表达。

DreamOmni的使用情境

• 电子艺术制作创作者与设计专家能够迅速把他们的创新想法转变为可视艺术作品，通过创建或修改图片来实现这一过程。
• 制作电子游戏游戏创作者设计游戏角色、场景及物品等资产，或者修改已有的游戏成分。
• 影视与文娱行业在影片创作过程中，创建特效背景或是调整现有场景图片能够有效降低成本并缩短工期。
• 宣传与推广市场营销专员能够迅速创作出引人注目的广告图片及推广素材，以适应各种宣传平台的需求。
• 学习与培养在教育行业中，用于制作教学资源，例如图表解析与情境模拟，以提升学习的互动性和效果。