KAUST开发的精细图像编辑技术– PartEdit

PartEdit指的是什么

KAUST发布了一种名为PartEdit的方法，该方法利用预训练扩散模型进行精细的图片调整。此技术通过优化特定文本标签（命名为“部件标记”）来引导扩散模型精确地识别并编辑图像中物体的不同部分。“部件标记”能够学习生成与对象各部位相对应的非二进制掩码，在每次迭代过程中精确定位修改区域，同时结合特征融合和自适应阈值技术无缝嵌入新内容，并保持未改动区原貌。PartEdit无需对模型进行再训练就能达到高质量编辑效果。它适用于真实图像的调整及多部件的同时编辑，为创作者提供了实现精准且富有创意图片修饰的强大工具。

PartEdit的核心作用

• 精确选择和调整目标部分内容针对图片内物体的不同部位（例如头盔、车体、发动机罩等），精确地定位并加以修饰，以达成用户要求的具体细节调整。
• 实现编辑内容的完美融合利用改进的非二进制遮罩技术和动态阈值方案，确保修改的内容能够自然地融入原图中，防止出现明显的边缘转换现象。
• 卓越的视觉体验所创建的修改图片拥有卓越的视觉效果，能够保存未经改动区域的真实质感，并保证调整的部分与整幅画面的整体格调相协调。
• 提供多种类型的编辑服务达成对意义层面的内容进行修改（例如替换主体元素）以及调整样式（比如变换色调、质地等方面），并且可以创造出通过常规技术较难完成的复杂构思。
• 实际图片修改运用图像反转技术处理实际拍摄的照片，不仅能生成合成图片，还有更多应用可能性。
• 多个部分同步修改允许在推断过程中同步修改多个区域，且不必对模型进行再训练，从而提升了编辑的工作效率。

PartEdit的运作机制

• 预先训练的扩散模型利用像SDXL这样的预训练扩散模型的强大创作潜力来反向生成图片。这些扩散模型通过逐渐消除噪音的方式来创造图像，并且整个生产流程由文字提示进行指导。
• 某些标识（Certain Identifiers）提升特定文本标签扩展模型对于目标部位的认知水平。此类标签于扩散流程中的每一阶段创建出可信且连续的遮罩图像，应用于精确界定编辑范围。
• 改进流程通过运用二元交叉熵(BCE)损失函数，并利用有限的标注数据集（例如PASCAL-Part或者PartImageNet），对局部标签进行优化，以在不同的UNet模块及时间阶段内创建出同物体部件相匹配的关注映射图。
• 特性融合及智能门槛调整方案于扩散模型每一阶段的时间步骤及UNet层级中，依据非二进制遮罩技术融合原图特性和修改后图像属性。采用动态门槛机制来优化调整改动区和保持区之间的连接效果，以保障整个修图过程的真实感和平滑过渡。
• 选取时间间隔步骤通过对各个时间段图像构建情况的剖析，选取中期阶段以改进大面积区域的位置校正，并将小面积细节与中后期阶段相结合，达到最优位置匹配的效果。
• 现实图片倒转在处理实际图片修改时，可以运用诸如Ledits++或EF-DDPM之类的图像翻转技术来预测真实图片的扩散模式，并将其视为基础路径以供编辑使用。

PartEdit的工程链接

• 官方网站 проекта

  注：这里的”项目官网”被翻译并轻微改编成了俄语表述，以符合“伪原创”的要求，同时保留了原始信息的核心含义。如果需要中文的伪原创改写，则可以是：“官方站点”。但由于原句非常简短，“项目官网”几乎直接对应了一个概念或指代，在不脱离这一特定表达方式的前提下进行显著改动会比较困难。访问该网址以获取更多信息：https://partedit.github.io/PartEdit/

• arXiv科技文章访问该论文的PDF版本，请点击此处：https://arxiv.org/pdf/2502.04050

PartEdit的使用情境

• 创意艺术与视觉规划协助艺术家与设计者迅速落实创新想法。
• 电影及电子游戏创作在电影、电视及游戏的视觉效果创作过程中，迅速调整人物造型或环境细节。
• 宣传策划广告设计师能够迅速创造产品的多样化视觉广告效果。
• 虚拟实境(VR)与扩增实境(AR)在使用VR和AR技术的应用程序里，能够即时调整虚拟场景内的物体。
• 教育培训领域在教育培训行业里，开发学习资源以辅助学生们更清晰地掌握复杂难懂的知识点。