南大发布DoraCycle：首个支持多模态领域适应的统一生成模型

DoraCycle是什么

DoraCycle是由新加坡国立大学Show实验室开发的一种多模态领域自适应统一生成模型。该模型通过创新的多模态循环机制（包括文本到图像再到文本，以及图像到文本再到图像的双向转换）实现了不同数据模态之间的信息交互与对齐。DoraCycle的核心优势在于无需依赖大量标注数据，而是利用非配对数据进行领域适配训练，并通过循环端点的交叉熵损失优化策略实现模型的自我进化和特定领域的适应能力。

DoraCycle的主要功能

• 无配对数据的领域适应能力：DoraCycle开创性地采用循环一致性学习方法，能够在无需成对训练数据的情况下完成生成模型的领域适配任务。这一特点显著降低了数据获取和标注的成本。
• 灵活的任务处理能力：该模型既能胜任风格化等无监督任务，也能有效结合少量配对数据来执行需要特定知识的任务（如身份生成），展现出极强的适应性。

DoraCycle的技术原理

• 多模态循环一致性学习机制：DoraCycle整合了两个核心的多模态循环模块：
  • T cycle：从输入文本开始，模型先将其转化为图像表示，再将生成的图像转换回文本。通过计算生成文本与原始文本之间的交叉熵损失来优化模型。
  • I cycle：从输入图像开始，模型首先生成对应的文本描述，随后将该文本转换回图像。模型通过对比生成图像和原始图像的差异进行优化。
• 跨模态对齐的自监督学习框架：DoraCycle基于统一生成模型建立视觉与语言之间的双向映射关系。通过这两个循环模块，模型能够在保持数据模态一致性的前提下，实现不同模态之间的高效对齐。
• 训练稳定性优化技术：为了应对多步推理过程中的梯度不稳定问题，DoraCycle引入了两项关键改进：
  • 梯度裁剪技术：有效避免两个循环模块在优化过程中出现方向冲突，从而提升整体训练的稳定性。
  • EMA模型机制：通过维护一个缓慢更新的指数移动平均模型来生成更稳定的伪数据，进一步增强模型的鲁棒性。

DoraCycle的项目地址

• Github仓库链接：https://github.com/showlab/DoraCycle
• 技术论文地址：https://arxiv.org/pdf/2503.03651

DoraCycle的应用场景

• 风格化设计领域：DoraCycle可以用于生成符合特定视觉风格的图像和文本内容。
• 虚拟角色设计：在虚拟角色创作中，DoraCycle能够结合少量配对数据与大规模无监督数据，生成具有独特身份特征和一致风格的角色形象。
• 个性化广告制作：该模型可以根据品牌调性和目标受众偏好，智能生成定制化的广告内容和视觉素材。
• 跨模态信息处理：DoraCycle在文本到图像、图像到文本的多模态转换任务中展现出强大的能力，为多种应用场景提供技术支撑。