仿生画笔 – 阿里巴巴等开放的AI图片编辑整合平台

MimicBrush指的是什么？

MimicBrush是一款由阿里巴巴、香港大学及蚂蚁集团的研究团队开发的人工智能图像处理融合工具。它让用户可以通过简便的操作，在原图上标记出需要修改的部分，并借助一个展示预期效果的参照图片来进行图片调整工作。该系统能够自动分析并复制参考图像中的视觉特征，把这些特性应用到原始图片的目标区域中，支持包括物体替换、风格转换和纹理修正在内的多种图像编辑功能。这项技术在产品个性化定制、角色造型设计以及特效创作等领域表现出色，显著减少了传统图形修改过程的繁琐程度，并增强了编辑工作的效率与灵活性。

MimicBrush的特性功能

• 参照图片创作类似的版本用户在原始图片中划定需修改的具体范围，并给出一幅带有目标样式或元素的参照图。MimicBrush能够解析并复制参照图里的独特视觉特质，然后巧妙地将这些特质融入至原图中的选定部位，从而达到风格或内容上的统一和谐。
• 智能区域辨识借助先进图像识别技术，MimicBrush能够智能地辨识并界定需编辑的区域，从而让用户免去手工描绘蒙版或执行复杂选取操作的步骤，大大简化前期准备流程。
• 快捷编辑软件用户通过简单地按下按钮就能开始编辑程序。MimicBrush会自行完成从区域辨识到特性模拟的所有步骤，使得编辑过程既快捷又方便，并减少了用户的操作步骤。
• 多元化的编辑成果提供物品互换功能，例如把一个物件换成另一个；能够完成风格变换，比如说修改衣物的设计或色调。同时支持质感调节，例如将某一材料的质地效果应用于其他物体之上。
• 即时响应在使用MimicBrush进行修改时，它会立即展示出效果预览。这使得用户能够即刻观察到变化，并迅速做出相应的改进与完善，从而更好地满足用户的期望与要求。
• 机动性和顺应性MimicBrush具备处理各种图像内容的能力，涵盖复杂的画面及多样的艺术风格，并提供了丰富的编辑选择，让用户依据自己的偏好来进行个性化的修改。

访问MimicBrush的官方站点入口

• 该项目的官方网站地址为：https://xavierchen34.github.io/MimicBrush-Page/
• 阿里 Vilab 的 MimicBrush 项目托管在 GitHub 上：https://github.com/ali-vilab/MimicBrush
• 演示地址：https://huggingface.co/spaces/xichenhku/MimicBrush – 来自Hugging Face平台
• MimicBrush模型可在ModelScope平台上找到：https://www.modelscope.cn/models/xichen/MimicBrush/summary
• 在arXiv平台上发布的一篇技术文章可以找到这里：https://arxiv.org/abs/2406.07547

MimicBrush的工作机制

• 自主监督学习MimicBrush采用自我监督的学习方法进行培训，借助于视频帧间的内在一致性和视觉差异。在训练阶段，系统会从视频里随机选取两个画面，其中一个用作原始图片，另一个则作为参照图，从而掌握如何运用参照图像的数据来修复原始图片中被遮挡的部分。
• 双重扩散UNets架构MimicBrush集成了一对UNet架构，具体为“模拟U-Net”及“参照U-Net”。这两者分别专注于处理原始图片与样本图片，并借助共享注意力模块中的键值和数值来实现信息的交流互动，这一机制能够辅助系统识别出样本图像中与需要编辑区域相匹配的部分。
• 焦点机制在MimicBrush里，由参考U-Net抽取的关注点关键信息和数据被整合进模拟U-Net中，这一过程有利于提升模拟U-Net对遮挡区重建的精确度，并保证生成的部分能够自然融入原图像的背景及其它组成元素之中。
• 数据扩增为提升源图与参照图间的多样性，MimicBrush在训练时采用了高强度的数据增广方法，如色彩变化、转动、放大缩小及镜像处理等手段，旨在增强模型面对各种姿势、光线条件及观察角度下的适应力和识别准确性。
• 掩码方案MimicBrush实施了智能化的掩模策略，利用SIFT特性匹配技术识别出源图的关键部分，并提高这些部位被覆盖的概率，进而引导系统掌握如何自参照图片提取及复制更具实质性的视觉成分。
• 深层次的模型结构MimicBrush运用深度学习模型估算出原始图片的深度信息，并将其作为一种可供选择的形式参照依据。这样的设计让MimicBrush在执行纹理迁移时能够保留原物体的基本形态，而仅仅把参照图中的花纹或者色彩转移到该物体之上。
• 评价标准为全方位评价MimicBrush的能力，研究团队设立了一套涵盖合成元素与纹理转换任务的高标准参考体系，该体系适用于包括时尚界及产品创意在内的多个现实使用场景。

MimicBrush的使用场合

• 设计理念借助MimicBrush工具，设计师能够迅速调整产品设计方案，如变换色彩、材质外观或是形态结构等，以便更好地契合设计理念或者适应具体要求。
• 潮流与服饰在时装领域中，MimicBrush能够用于调整衣物的设计图案、色彩或者样式，它支持创意设计师与市场推广专家迅速浏览多种设计方案。
• 美妆与人物图像修饰使用者能够借助MimicBrush对人物画像进行美化处理，比如调整头发样式、化妆效果或是皮肤色调，这一切都不需要具备专业图片编辑能力。
• 宣传与市场推广资料市场营销人员能够迅速修改广告图片，以便符合各种市场环境或是推广活动的需求，比如替换产品的展示形式或者改变背景的设计。
• 社交平台上的内容制作社交平台的用户能够通过运用MimicBrush工具来提升并定制自己的图片与视频内容，使发布的素材更具吸引力。
• 在线购物网络商家能够利用MimicBrush调整商品图片，以呈现多样化的选择和变体，从而给予顾客更加丰富多彩的视觉享受。