OneDiffusion – 开源扩散模型，轻松实现图像的双向合成与解析

OneDiffusion指的是什么

AI2近期发布了一款名为OneDiffusion的强大多功能扩散模型，该模型能够流畅地处理双向图像合成与解析，并适用于文本转图生成、条件性图像创建以及图像解析等多元化的应用场景。通过将各类条件和目标图片视作序列“视角”进行训练，它实现了在推断过程中可以任意选取帧作为基础参考图的功能。OneDiffusion凭借其整合的训练架构、出色的扩展能力和对多任务的支持能力，为视觉模型的应用提供了一种通用解决方案。

OneDiffusion的核心特性

• 从文本生成图片根据文字描述创造高精度且栩栩如生的图片。
• 基于条件的图像创造根据提供的图片资料（例如深度图或姿势图）创造新的图像。
• 图片解析承担诸如深度测算、姿势估算及图片分段等工作。
• 多个视角的创建：基于一张图片创建多角度的协调视觉效果。
• 实时定制化体验利用系列图片作为输入来实现个性化的创作。
• 个性化标识设定根据个人信息来设计和创建图片。
• 零实例超清生成即便在训练过程中没有接触到高分辨率的图像，同样能够产出高质量的高清图片。

OneDiffusion的核心技术机制

• 流量匹配架构通过采用流匹配（Flow Matching）架构来培养持续时间段内的生成性模型，并掌握随着时间变化而演变的矢量场地的概率分布转移。
• 顺序模型构建把所有的条件与目标图片构造成一组“视角”，并在训练过程中将其当作一个系列来处理，每一个视角都附加了不同的噪点程度。
• 适应性强的架构在进行推理过程中，各个视角均可作为条件输入或是配置成噪声来产生最终的输出图片。
• 一体化训练平台依托于一致性的培训平台，消除对特定结构的依赖，提供灵活扩展的多功能训练支持，并兼容各种尺寸规格。
• 声音调控在训练时，分别对各个视角抽取时间变量和高斯噪声样本，以生成具有多样噪声强度的视角图像。

OneDiffusion项目的仓库位置

• Git存储库：访问该项目的GitHub页面，请前往 https://github.com/lehduong/OneDiffusion 。
• 关于arXiv的技术文章这篇论文可以在如下链接中找到：https://arxiv.org/pdf/2411.16318，提供了深入的研究内容。

OneDiffusion的使用情境

• 创意艺术与视觉规划借助文本转换为图像的技术，创作者与设计者能够依据创意描述快速生产出视觉作品，从而显著加快他们的创作流程。
• 宣传与推广利用条件图像合成技术，依据指定的品牌形象或是当前的市场潮流来设计图片，这些图片主要用于广告及市场营销素材中。
• 制作电子游戏在游戏中进行开发时，通过迅速构建原型来创建多样的游戏场景、人物及物件视角。
• 虚拟实境（VR）及扩增实境（AR）多视角生成技术构建全方位的全景画面，提升了虚拟现实与增强现实应用场景中的沉浸感。
• 影视和休闲活动在影片创作过程中，绘制初期的效果画面草稿，或是用来迅速检查场景设置。