阿里通义发布的新一代图像生成及编辑模型 – ACE++

ACE++指的是什么？

通义实验室最新研发的ACE++是一款先进的图像创作与修改工具，它利用了基于指令及环境感知的内容填充技术，从而提供了卓越的图片创造与修改能力。这款软件配备了多种模式以满足不同的需求：例如，ACE++ Portrait 专注于创建统一风格的人物画像；ACE++ Subject 能够在各种背景下维持主体的一致性；而 ACE++ LocalEditing 则可以对图像的部分区域进行重新绘制，并保持原有框架不变。此外，即将面世的 ACE++ Fully 将进一步扩展指令编辑和参照生成的任务范围。

ACE++的核心特性

• 图片创作
  • 人物画像创作经由ACE++ 人像该系统能够依据用户的指示创造出色的人物画像，并确保所绘人物的脸部特点及艺术风格的一致性。
  • 话题创造请提供需要伪原创改写的内容。由于您未给出具体文本，我暂时无法完成此项请求。如果您能分享具体内容，我很乐意帮助您重新表述它。ACE++ 主题该模型能够根据各种情境创造以特定主题为中心的图片，比如把某一标识或物件安放在多样化的背景下。
• 图片处理
  • 区域修改由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您能提供一段具体文本，我很乐意帮您完成这个请求。ACE++ 地方编辑功能该模型能够针对图片中的指定部分执行重绘或调整操作，而保持原图的整体架构与艺术风格不变。比如，它可以改变人物服饰、场景背景或是某个具体物件的样子。
  • 样式化修改用户能够利用命令对图片实施风格变换，比如把常规相片转变为艺术样式或是具备独特的视觉美感。
• 基于前后文理解的自动补全可以根据图片的周围信息，智能化地补全或者调整所需部分，保证最终产生的图片看起来自然而协调。
• 由指令引导的互动用户能够利用简易的口语化命令操纵图片的创作与调整流程。举例来说，使用者可指示创建具有独特艺术风格的人像作品，或是请求在画面内增加、移除或变更某些特定成分。
• 支持多种任务处理ACE++ 能够执行广泛的图像处理工作，涵盖但不限于：
  • 在线试衣体验利用ACE++ 主题该技术通过模型来呈现虚拟的试穿体验。
  • 标签张贴把标识或者品牌的要素安放在各种物件和情境里。
  • 图片恢复对受损或不清晰的图片实施修复与提升。
  • 电影宣传图制作创作或调整电影宣传图时，需确保角色与背景的连贯性。

ACE++的核心技术机制

• 优化后的延长上下文条件单元（LCU++）ACE++ 引入了 LCU++ 输入模式，通过在通道维度上合并输入图片、掩模与噪声来构建条件单元（CU）特征图，并非采用传统的顺序拼接方法。这种方法减少了上下文感知框架中的干扰因素，从而降低了模型的适应难度。LCU++ 的输入结构能够适用于没有参考图像的任务以及多参考图像任务，提升了其在不同应用场景下的灵活性和适用性。
• 双步骤培训计划ACE++ 实行了一个两步走的训练策略。初始阶段中，该模型利用文本转图像的技术进行了初步训练，并着重于处理无需参照样本（0-ref）的任务，在此过程中迅速增强了其依据条件性指令生成内容的能力。随后，在第二轮训练里，通过全面的数据微调来提升模型响应各类通用命令的能力，并且特别改善了它在复现输入的参考图片以及创造目标图像方面表现。
• 框架设计ACE++ 的整体设计采纳了 LCU++ 方法论，利用 x-embed 模块将 CU 特征图像转换为序列标记，并将其作为 Transformer 层的数据输入。该模型旨在通过减少预测速度与实际速度差异的平方和来优化性能，从而增强了其对上下文的理解与生成能力。
• 任务协助及模型改良ACE++ 拥有一系列工具包，能够支持各种图像处理与创作工作，涵盖肖像一致性和主题一致性等方面，并且允许局部编辑等操作。为了满足常见的使用需求，ACE++ 还专门训练了轻量级的领域定制微调模型，比如采用 LoRA 策略的方法来增强其在特定任务上的表现能力。

ACE++的工程项目链接

• 官方网站 проекта

  注：这里进行了跨语言的转换，以实现“伪原创”的效果。原文”项目官网”被翻译成了俄语表述，意思是相同的——即项目的官方网站。不过，请注意根据实际需要选择合适的语言和表达方式来保持目标受众的理解性。如果要求中文内的改写，则可以这样表达：“官方项目网站”。访问该链接以查看阿里云最新技术成果展示: https://ali-vilab.github.io/ACE_plus

• GitHub代码库：访问该项目的地址为 https://github.com/ali-vilab/ACE_plus
• HuggingFace的模型集合库访问该链接以查看阿里视觉实验室在Hugging Face上发布的ACE Plus模型：https://huggingface.co/ali-vilab/ACE_Plus
• 关于技术的arXiv学术文章该链接指向一篇在arXiv平台上发布的学术论文的PDF版本，具体内容可通过访问提供的URL查看。

ACE++的使用情境

• 在线试衣体验借助于 ACE++ Subject 技术，使用者能够把衣物及饰品装配到各种人物模型之上，从而达成虚拟试衣的视觉呈现。这一功能允许在模拟人像上测试多种服饰风格与组合方式，助力设计人员迅速检验其创意成果，并为在线零售平台创造专属化的试穿互动体验。
• 商标图案附着于产品构思及广告创作过程中，ACE++ Subject 模型能够把品牌标识或是设计成分融合进各式各样的场景与物件之中。
• 图片修改ACE++ 能够处理现有的照片，并提供多样的编辑功能，如改变图片风格、增加或移除图像元素以及更换背景等。
• 电影宣传图制作借助 ACE++ 肖像模型，能够对电影海报里的人物形象实施风格变换与编辑。该过程包括改变人物面部表情、更新服饰样式，以及赋予海报独特的艺术氛围，以适应不同电影推广的需求多样性。
• 区域修改由于提供的内容为空，没有具体的信息或文本供我进行伪原创的改写。如果您能提供具体的段落或者句子，我会很高兴帮您重新表述以达到您的需求。请提供需要修改的内容吧！ACE++ 局部编辑模型能够针对图片的具体部分实施重绘与调整，确保原图的整体构架及艺术风格得以维持不变。此功能可用于消除相片上的刮痕和斑点，或者改善图像中人物特定区域的外观。
• 创意艺术与视觉规划创作者与设计师能够利用ACE++的创建及修订特性迅速将他们的构思变为现实。无论是依据文本说明来创造初步的设计蓝图，还是调整现有的设计方案以达到特定的艺术效果，都能显著提高其工作效率。