阿里通义实验室发布的视频修复工具DiffuEraser

DiffuEraser指的是什么？

DiffuEraser是一款基于稳定扩散技术的视频修复工具，它能够用更细致且连贯的内容填充视频中的被掩盖区域。该模型利用先验数据作为初始值和弱条件支持，有效降低了噪声干扰并防止了不真实信息的生成。为了在处理长序列时保持更好的时间一致性，DiffuEraser 扩大了其对时间和先前模式的理解范围，并进一步借助视频扩散技术的时间平滑效果来提升整体的一致性水平。该模型的设计借鉴了AnimateDiff的理念，将运动组件整合进图像修复框架内，主要由主去噪网络UNet和辅助的BrushNet构成。其中BrushNet部分接受包括遮盖图、遮罩信息以及噪声潜变量在内的条件输入，并通过零卷积块提取特征后逐层融入到去噪UNet中进行处理。为增强时间连贯性，模型在自注意力与交叉注意力机制之后加入了时间注意力模块来优化这一特性。最后，在完成去噪步骤后，生成的画面会利用模糊遮罩技术与原始输入的遮盖图相融合。

DiffuEraser的核心特性

• 生成未定义尺寸的图像元素依托于强大生成能力的稳定扩散模型，DiffuEraser能够为视频内未曾展现的像素区域创造详尽且细腻、富含纹理的信息内容，显著改善了以往Transformer模型面对大面积遮挡时常出现的图像模糊与马赛克现象。
• 众所周知的像素扩散过程DiffuEraser借助优化后的运动模块及先验模型提升了信息传递效能，确保了已知像素（那些曾在特定遮罩帧中显现过的）能在各帧间进行充分且一致的传播。这一机制避免了修复区域与未被遮罩部分产生矛盾，从而增强了最终输出的一致性和稳定性。
• 确保时间的一致性管理在进行长时间序列的推断时，DiffuEraser 利用其扩展的先验模型及时域范围，在依托于视频扩散模型所具备的时间流畅属性的基础上，提升了各帧间最终表现内容的一致性。
• 预先知识的融入DiffuEraser利用引入的先验知识来进行初步设置并施加轻微约束，这有利于降低噪音引起的瑕疵，并遏制在扩散模型中普遍出现的图像错觉现象，从而产生更加精确和逼真的修复效果。
• 网络结构改进受AnimateDiff的影响，DiffuEraser的设计把动作组件融合进了图像修正系统BrushNet里，并且通过对自注意与交互注意环节后增加时序关注机制的方式，显著提升了其在时间连贯性上的表现。

DiffuEraser的工作机制

• 网络结构DiffuEraser的设计灵感源自AnimateDiff，它将运动模块嵌入到用于图像修复的BrushNet中。其架构主要包括主干去噪UNet和辅助模型BrushNet两大部分。在BrushNet部分，由掩模图、掩码及噪声潜在变量构成的条件潜向量作为输入，并通过零卷积块处理后逐层合并进去噪UNet内。此过程中的主要任务是让去噪UNet对噪声潜变量进行处理以实现图像修复的目标。为了进一步提高时间上的一致性，该模型在自注意力和交叉注意力模块之后加入了时间注意机制。最终，在完成去噪步骤后，生成的图片将通过模糊掩模与原始输入的掩模图融合在一起。
• 视频修复任务的细分DiffuEraser把视频修复任务细分为三个部分处理：传递已知的像素信息、创建缺失的像素数据，以及确保整个过程中的时间连贯性。
• 提升时间的一致性表现为提升长序列推理过程中的时间一致性，DiffuEraser采用了如下方法：
  • 增加前置模型对时间维度的感知范围利用预先的扩散和推断过程，先前构建的模型能够在时间维度上扩展已知图像部分的信息，从而保证生成的内容与非遮挡区域能够和谐一致，并稳固最终输出的结果。
  • 增强DiffuEraser的时序感知范围借助预先的推演过程，DiffuEraser能有效管理更加多样化的视频画面，并保证在整个长时间序列推断过程中所产生内容的连贯性和一致性。

DiffuEraser的项目位置

• 官方网站URLExceptiontaboola.maxcdn.comtaboola.twimg.comtaboola.pinterest.comtaboola.outbrain.comHTTPSURLFalsetruefalsefalsefalseISPTabPageView129600s3600s1800s7200s14400sPid5aef5b3d-ebf6-4e5c-a3da-bbbd79dcffdetaboola.plista.comtaboola.oath.comfalsefalsetaboola.oftmedia.comtaboola.ceros.comfalsefalsetruefalse18278936https://www.example-project.org/1访问此页面以查看DiffuEraser的相关信息：https://lixiaowen-xw.github.io/DiffuEraser-page/
• Git存储库：访问此链接以查看DiffuEraser项目 – https://github.com/lixiaowen-xw/DiffuEraser
• arXiv科技文章在该论文链接中探讨了相关的研究内容与发现：https://arxiv.org/pdf/2501.10018，其中包含了作者对特定领域的深入分析和创新观点。

DiffuEraser的使用情境

• 影视作品的后期制作流程于影片及连续剧的后制阶段，DiffuEraser能够改善影像中的蒙版部分，增强画质，并执行除模糊与升频操作，以满足各种解析度输出的要求。
• 经典影片修复在对经典影片进行数字修复时，DiffuEraser能够清除胶片上的刮痕、尘埃及其他损害，并增强其清晰度，使旧影作品再现光彩。
• 提升监控影像质量在安防监测行业中，DiffuEraser能够提升监控录像的清晰水平，便于捕捉更多细节信息，从而有效加强监视工作的成效。
• 将视频中的信息转化为其他形式的内容创作人员能够利用DiffuEraser把普通清晰度（SD）的视频升级到高清（HD）或者4K级别，以适应当前显示器的标准要求。
• 现场转播体育竞赛活动在转播体育比赛时，DiffuEraser能够提升实时视频流的质量，为观众带来更加清晰的画面效果。