Adobe开发的AI视频背景创建工具ActAnywhere

ActAnywhere指的是什么？

ActAnywhere是由斯坦福大学及Adobe Research的研究团队共同研发的一款视频生成技术，专注于优化视频背景的制作流程，特别适用于需要将前景对象（例如人物）和新环境自然融合的情境中。该模型在电影生产和视觉效果行业有着广泛应用潜力，能够自动合成与前景动作同步协调的新背景画面，显著减少了传统手动后期处理所需的时间和工作量。

官方网站地址：https://actanywhere.github.io/

在ArXiv上可以找到该论文的链接如下：https://arxiv.org/abs/2401.10822

ActAnywhere的特性特点

• 前景对象与背景相融ActAnywhere可以根据前景主要对象的动作及外貌特征，自动创建一个契合的对象背景，确保主体与背后环境的互动显得自然而流畅。
• 基于条件框架引导的背景创建用户提供一幅描绘新情境的画面（作为参考图），ActAnywhere依据该参考图来创建视频的背景部分。这样可以使得用户能够定制具体的背景细节，比如独特的建筑物、自然风光或是室内的布局。
• 时间的一致性利用时间自注意力机制，ActAnywhere能够保证生成的视频在时序中的一致性，涵盖摄像机移动、光线变换及影子效应等方面。
• 自我监督学习ActAnywhere通过在大型的人类与环境互动的视频数据库上实施自我监督的学习方法，能够自主地掌握生成视频背景的技术，而无需依赖于人为标记的数据。
• 无例学识训练ActAnywhere具备在无需额外培训的前提下，为全新的未知数据（例如非人类对象）创造内容的能力，显示出该模型能从其训练资料中学得一套普遍适用的背景创作方法。

ActAnywhere的操作机制

ActAnywhere利用一系列程序与元素，可以创建出具备强烈真实感及时间一致性较强的视频背景。

1. 资料预备需要提供具体的内容来进行伪原创改写。由于您提供的信息仅有冒号，并没有实际内容，所以我无法完成您的请求。如果您有具体的文本，请提供给我，我将很乐意帮您进行伪原创处理。
   • 采用类似Mask R-CNN的前景对象分离技术，从输入影片中提取出目标对象的时间序列(S)及其相应的遮罩(M)。
   • 添加一个条件框架（c），该框架用于描绘所需的生成环境的画面，它可以是一个单纯的背景图片，也可以是一张结合了前景与背景元素的合成图。
2. 特性编码由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您提供一段具体文字，我便能够帮助您完成这项任务。
   • 利用预先训练好的变分自编码器(VAE)把前景目标的分割序列转换成潜藏特性(ˆS)。
   • 对前景蒙版的序列进行降采样处理，并与潜藏特性同步，确保特性的尺寸相吻合。
3. 传播流程由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您提供一段具体文字或信息，我很乐意帮您完成这个需求。
   • 于训练阶段中，通过VAE编码器把初始的视频帧转化为潜藏表达(Z)，随后逐步在其上叠加高斯噪音以完成前向扩散过程。
   • 于测试阶段，初始潜变量（Z0）被设定为高斯噪音的形式，并借由反向扩散机制逐渐清除噪音，从而创造出最终的视频图像。
4. 时段关注机制由于提供的内容仅有冒号，并没有实际的文字信息可供改写，请提供具体的内容以便于我能够帮助您完成需求。如果这是测试指令的一部分，请明确指出需要修改或创作的文本内容。
   • 为了在去噪U-Net模型中增强时间一致性，引入了一系列动作组件，每个组件都融合了特性映射层与一维时态自我注意单元。
   • 从条件帧获取的特性（Fc）经由CLIP图像编码器抽取，并被整合进U-Net的交叉注意力模块内，旨在使生成视频的背景同条件帧维持高度一致性。
5. 培训目的由于提供的原文内容为空，无法进行伪原创的改写。如果有具体的文本内容，请提供，我将会根据要求对其进行相应的处理。
   • 采用简化的目标函数来进行模型训练，该目标是估计加入的噪音。模型的优化过程旨在减少所估噪音与实际噪音间的差距。
6. 数据分析与预处理请提供需要改写的具体内容，以便我能够帮助您完成需求。
   • 于训练期间，采用随机矩形切割与图像侵蚀技术来应对非理想分割遮罩的问题。
   • 在进行测试的过程中，采用随机移除分割部分、遮罩或是条件帧的方法来达成无需分类器的引导效果。
7. 训练模型需要提供具体的内容来进行伪原创改写，请给出相应的文本。
   • 利用含有240万段视频的大型人与环境互动数据库（HiC+）来完成模型训练。
   • 采用AdamW优化算法，并设定恒定的学习率值为3e-5，在此过程中保持VAE与CLIP编码器参数不变，仅对U-Net进行精细调整。
8. 制作流程由于提供的内容仅有冒号，并没有具体的信息或文本供我进行伪原创的改写，请提供更详细的内容。如果有特定的主题或者句子需要帮助，请告知！
   • 于测试阶段，当我们将前景目标序列及条件帧送入已训练完毕的模型后，该模型会产出一段与前景动作同步变化的视频背景。

ActAnywhere的使用情境

• 更换视频的背景画面ActAnywhere具备把视频里的主要对象转移到全新背景的能力，这一特性对于影视创作、商业广告以及虚拟现实(VR)与增强现实(AR)等行业极为实用。比如，能够实现让角色出现在想象中的环境中，或是在无需实地摄制的前提下营造出特定场景的效果。
• 提升视觉表现力于视觉特效(VFX)创作领域内，借助ActAnywhere能够合成诸如变动气候、光线变换及人物交互等一系列复杂场景背景效果，并且这一切都不需要进行真实拍摄。
• 创作独特的内容作品创作人及艺术家能够借助ActAnywhere迅速试验并落实其创新构思，比如把人物设定在各异的历史背景或是未来的宇宙中，又或者是让他们与幻想中的生物进行交互。
• 教育与培养于教育行业之中，ActAnywhere能够构建仿真情境，助力学生们更深刻地掌握复杂理论与历史事实，并可用于安全训练中，复现应急状况。
• 娱乐与嬉戏游戏创作者能够通过使用ActAnywhere来创建生动的背景场景，从而给游戏玩家带来更为丰富多彩且贴近真实的互动感受。此外，这项技术同样适用于电影预告片、音乐视频以及各类娱乐节目的生产过程中。