阿里通义实验室发布的全方位图片创作与编辑工具——ACE

ACE代表什么？

Tongyi Lab来自阿里巴巴集团推出的ACE（全方位创作者与编辑器），是一款依托扩散变换器技术的多功能图像制作及修改工具。该模型通过集成长上下文条件单元(LCU)和标准化指令格式，能够精准解读并响应自然语言提示，广泛应用于各类视觉创作任务中。ACE具备处理多模态数据的能力，胜任如图片创造、修饰以及连续互动等复杂作业，并以一体化的方式提升了视觉内容生成的速度与便捷性。

ACE的核心作用

• 多种形态的图像创造A能够依据文字指示创造图片，并且可以执行各种视觉创作工作，包括但不限于样式变换、物体的增减等。
• 图片处理该模型能够修改现有的图片，涵盖的意义层面调整、组件级别的改动（比如加入或删除文字与物体）以及区域修复（inpainting）。
• 处理较长的文本内容利用长上下文化单元（LCU）技术，在多轮次对话中实现对图片的精准编辑，并确保整个交流过程中的内容一致性。
• 资料的采集和加工运用高效的资料搜集策略，通过合成或集群处理流程来获得配对图片，并利用经过调整的大规模多元模式语言模型创建精准的文字指导。
• 单一模型执行多种任务的能力为了简化视觉代理中的复杂程序，采用一个统一的模型后台来处理所有的图片生成需求，从而提升工作效率。

ACE的核心技术机制

• 具有长时间序列依赖处理能力的单元模块（LTDU）采用LCU这一整合型条件框架，能够结合过去的上下文与现有的文字指导，更精准地解析用户的需求，并创作出预期中的图像。
• 采用Transformer架构的扩散型模型开发以Transformer为基础的扩散模型，并采用LCU作为数据输入。通过同步培训多种生成与编辑作业来增强该模型执行多项任务的能力。
• 状态分词(Conditional Segmentation)该系统会把文字命令与视觉数据（例如图片及遮罩）各自转换为一系列代码，随后结合这些代码进行统一处理，从而确保多种类型的信息能够相互匹配。
• 图片标志嵌入（Picture Marker Embedding）为了保证文本指令中描述的图片顺序与CU内图片排列一致，采用预先设定的文字标签来标识图片次序。
• 长时间序列关注模块(Long-sequence Attention Module)该模块利用时间步长嵌入(T-Emb)与三维旋转位置编码(RoPE)来识别不同空间及帧级别的图像嵌入差异，从而保证在进行自我注意和交互注意操作时，能够实现文本嵌入与图像嵌入的逐帧精准匹配。

ACE项目的仓库位置

• 官方网站项目的入口https://github.com/ali-vilab/ace-page
• Git存储库访问该链接以查看阿里云视觉实验室发布的ACE项目：https://github.com/ali-vilab/ACE
• 关于arXiv的技术文章在学术预印平台ArXiv上发布了一篇编号为2410.00086的研究论文。

ACE的使用情境

• 创意艺术与视觉规划创作者与设计者通过制作或调整图片来践行他们的创新理念，并提升其工作效率。
• 影视与文化ainment于电影创作领域内，用于创造至关重要的画面瞬间及支持性的视效构建；而在游戏设计行业中，则主要用于加快初步模型的设计进程与创建各类游戏资源。
• 推广与市场宣传：市场推广人员迅速创建具有吸引力的宣传图片及销售资料。
• 教育和培养教师设计个性化的教学材料和视觉支持资源，以提升学生的学业体验。
• 在线购物电商平台能够创建产品图片，并可根据客户的具体需求来定制化呈现商品。