谷歌与马里兰大学等机构合作研发的视频拆分技术——生成性Omnimatte

生成式全景观是关于什么的讨论？

Google DeepMind 等机构开发的 Generative Omnimatte 是一种先进的视频编辑技术，它能够自动将视频内容分解成多个带有透明背景的RGBA图层，每个图层都独立表示一个物体及其相关的视觉效果（如阴影和反射）。这项技术不需要绿幕或深度数据即可实现对目标对象与背景之间精细分割的效果，并能妥善处理遮挡问题。其核心技术是名为“Casper”的视频扩散模型，能够精准地移除视频中的任何物体及它们的投影，同时确保背景不受影响。用户可以借此轻松达成各种创意编辑效果，比如瞬间移动、调整运动速率或是逆转时间流等。

生成式全场景Matte的关键特性

• 视频层次划分把视频拆分成若干个RGBA图层，其中每一个图层都承载着一个独立的全透明对象以及与其关联的效果，比如阴影或倒影。
• 视频剪辑该平台允许用户执行多种视频编辑任务，涵盖效果及物体删除、更换背景等功能。
• 背景的动态效果处理应对动态背景时，需防止背景中的元素与前景物体发生交织。
• 多个物体情境：能够妥善管理涉及多种物体的情境，涵盖对相近物体的区分及其相互影响的关系建立。
• 客户选定的三重口罩允许用户通过特定的 Trimask 功能精确管理在视频剪辑时需要保存或删除的部分。

生成式全息图技术的基础原理

• Casper：一种用于消除对象效果的模型提供输入视频与二值化物体遮罩后，利用 Casper 模型可以创建清晰的背景图像及一组单一物件视频，并采用多种 Trimask 参数进行处理。
• TripleMask 情况Trimask 界定了需要保存（以白色表示）、删除（用黑色标记）以及可能存在边缘模糊不清的对象影响范围（通过灰色标识）。这种方法有利于在涉及多个物体的情况下实现精准操作。
• 在进行检验的过程中实施改进措施于第二个阶段中，通过使用测试时间的优化技术，在单独的视频与背景视频之间重构Omnimatte层。
• 培训资料通过利用多种数据集（包括Omnimatte、Tripod、Kubric及Object-Paste），对模型进行训练，以展示实际视频中的因果关联实例，并提升其在复杂多物体环境下的表现能力。
• 自我关注解析通过对 Lumiere 模型中的自我关注机制进行解析，探讨用于从文本生成视频(T2V)的系统如何内在地理解和处理物体效果的相关性，并据此开发出高效的物体效果去除模型。

生成式Omnimatte的项目位置

• 官方网站：访问该链接可查看OmniMatte项目的官方网站 – https://gen-omnimatte.github.io/
• 关于arXiv的技术文章在学术论文数据库中可以找到这份研究文档，其在线链接为：https://arxiv.org/pdf/2411.16683。这篇文档深入探讨了特定领域的最新研究成果。

生成式全景观的使用情境

• 影片与视像创作在影片创作过程中，去除多余的背景成分或更换背景，并确保特殊效果场景能够完美融合。
• 影片剪辑与后制处理视频创作者会从影片中提取特定对象及其背景，并执行色彩调整、效果叠加或其它创新性修改。
• 创建广告在广告制作过程中，更换产品的背景环境或是消除画面里的分散注意力的成分，以强调展示产品本身。
• 模拟实境与扩增实境通过融合真实世界中的视频素材与虚拟成分，VR和AR应用能够创造出更为身临其境的体验。
• 制作电子游戏在游戏中构建复杂的场景时，巧妙地把现实生活中的要素融入到虚拟的游戏环境中，实现自然过渡。