腾讯开发的高品质图片修复模型 BrushNet

BrushNet指的是什么？

BrushNet是腾讯PCG部门下ARC实验室与香港大学学者共同研发的一款基于扩散模型的照片修复工具（Inpainting）。它采用双路径架构来优化遮罩区域的处理效果。其中一个路径专门用于分析和提取遮罩区域内像素细节，另一个则专注于图像重建工作。这样的设计让BrushNet能够层次分明地整合关键遮罩信息到修复流程中，在确保原图内容一致性的同时产出高质的修复成果。

相较于先前的技术方案，比如Blended Latent Diffusion、Stable Diffusion Inpainting、HD-Painter及PowerPaint等，BrushNet在处理图像复原时展现出了更为出色的连续性和一致性，在风格、内容以及色彩和提示对齐方面尤为突出。

访问BrushNet的官方网页入口

• 官方网站链接：https://tencentarc.github.io/BrushNet/
• Tencent ARC的BrushNet项目托管于GitHub上，访问地址为：https://github.com/TencentARC/BrushNet
• 学术文章探讨如下链接中的主题：https://arxiv.org/abs/2403.06976

BrushNet的特色功能

• 修正各种类别的图片问题BrushNet具备处理多种环境下的图片的能力，包括人物、生物、室内外景象，并且能够对各种艺术形式的图像进行修复工作，涵盖真实照片、素描作品、动画图形以及水彩绘画等多种风格。
• 精细修复至每个像素点BrushNet具备识别并处理图片中蒙版区域的能力，它能精准修正每一个像素点，保证修补部分与原图在视觉上完美融合。
• 保持可见部分不受影响利用层次化管理和定制化的模糊集成方案，BrushNet确保在修补时维持非遮蔽部分的原貌，防止对原图不必要的修改。
• 与预先训练模型的相容性作为一款即装即用的系统，BrushNet能够同多种预先训练好的扩散算法（比如DreamShaper、epiCRealism和MeinaMix等）相集成，通过借助它们卓越的内容创造功能实现修复工作。
• 机动性和操控性用户能够通过修改模型的各项设置来调控修正的程度与精细度，涵盖对需修正范围尺寸及内容详尽水平的把控。

BrushNet的操作机制

BrushNet 利用扩散模型并通过一种新颖的双路径结构来进行图像修复工作。

下面是关于BrushNet操作机制的简洁说明：

1. 两分叉结构BrushNet的关键设计是采用了一种分叉式的双重路径结构，其中一条路径专门用于分析遮罩图的特点，另一条则致力于构建图像中除遮罩外的部分。
2. 从遮罩图片中抽取特性于掩码分支里，该系统借助变分自编码器（VAE）技术来解析并压缩掩码图片的关键属性。获取到的核心特性接着用于指引图像恢复作业的方向。
3. 预先训练的扩散模型于创建分支过程中，该系统借助预先培训好的扩散算法创造图片元素。此算法已掌握将噪音转化为鲜明影像的能力。
4. 特性整合所抽取的遮罩图特性逐渐整合进预先训练好的扩散模型里，从而能够以层次化的形式精细调控修复流程。
5. 降噪与创造于逆向消噪流程里，该系统经由重复实施降噪程序，渐次地自混沌信号内重塑出明晰的画面内容。每一环节皆融入了对掩模图属性的考量，以此保障修复区域能够与原图像其它部分在视觉效果上无缝融合。
6. 模糊集成方法为更有效地保存未被遮挡部分的精细特征，BrushNet实施了模糊混合方法。具体而言，在合并遮罩区与合成区的过程中，运用了模糊处理过的遮罩以减轻生硬边界及人工痕迹明显的转换问题。
7. 展示修正后的图片最后，该模型生成了一张修复过的图片，在这张图片中，遮挡部分已被平滑且协调地补全，并且非遮挡部分的原貌得以完整保存。