动作引导——谷歌携手密歇根与布朗大学研发的运动路径调控视频创作工具

Motion Prompting指的是什么

由Google DeepMind、密歇根大学及布朗大学共同研发的Motion Prompting技术是一种创新性的视频创作方法，它利用运动轨迹来指挥与塑造视频内容。该技术采用点路径的形式作为其灵活多变的运动描述手段，能够精确编码从单一节点到整个场景间任意复杂程度的动作模式。“运动提示”（motion prompts）的设计类似于文本指令，在此框架下用户可以调动模型的不同功能，如对象操控、相机视角调整及物理现象再现等。Motion Prompting显著增强了视频生成过程中的自由度和精准性，并为未来的交互式视频创作与环境建模查询开启了新的可能性。

Motion Prompting的核心作用

• 实体管理根据动作指引，精确调节视频内指定物体的动作，例如转动或位移。
• 操控相机在视频制作过程中，对摄像机的动作进行操控，涵盖移动、转动及调整视角范围等功能。
• 物理学现象的仿真在视频中呈现诸如流体力学（包括水流与烟雾运动）及刚体动力学等物理现象。
• 目标物体与摄像机操控同步进行融合对象操控与摄像机操控的动态指引，以达成复杂情境下的互动体验。
• 采用拖拽方式进行图片编辑允许用户通过拖拽功能来修改图片，从而达成动态的图片编辑效果。
• 运动转换把一个视频里的动态效果应用到另一段视频的起始帧中，以此达到重新使用该动态的目的。
• 运动增强效果增强视频里的微小动作，使这些细小的动作更加突出。

动作提示技术的工作机制

• 路径点展示采用点路径(point paths)来表征动态过程，能够记录视频内任意数目点位的变化移动情况，涵盖物体特有动作及整体画面动态。
• 基于条件的视频生成模型基于预先训练好的视频扩散模型，进一步培训一个名为ControlNet的调控网络，该网络能够接收动作提示并将其作为条件输入使用。
• 运动建议设计把用户的操作行为（例如通过鼠标进行的拖拽动作）转化为一系列坐标路径，或是运用计算机视觉方法根据用户的复杂要求来创建精确的动作路线。
• 路径编码把点的运动路径转换为时空体积表示形式，在该表示中，每条路径于其所经过的每一个地点处均配置有一个独特的嵌入矢量。
• 模型的培训过程利用从视频中获取的运动路径信息来训练模型，并依据这些路径线索合成新的视频内容。
• 调节路径的稀疏程度用户可以调节轨迹的密度，以实现对控制精度与视频模型灵活度之间的均衡。
• 同时执行多种任务通过整合多样化的运动指令，使单个模型能够完成各种复杂视频创作任务。

Motion Prompting项目的仓库位置

• 官方网站URLException:movement-indication.github.io
• 关于arXiv的技术文章在学术预印平台ArXiv上发布了一篇新的研究论文，其在线地址为：https://arxiv.org/pdf/2412.02700。该文献提供了深入的理论分析与实证数据，展现了最新的科研成果和见解。

Motion Prompting的使用情境

• 影视作品创作电影导演及视频创作者能够构建出精妙的动态画面，例如特技镜头或是动作片段，并且不需要进行繁琐的手工动画处理。
• 制作电子游戏游戏创作者制作游戏中用于背景的动态视频或是实现游戏角色与环境之间的互动效果。
• 仿真环境技术中的虚拟实境与扩增实境在VR与AR的应用里，构建更为真实且自然的虚拟场景及互动体验。
• 互动型数字艺术创作创作者开发了一件新颖的互动艺术品，让观赏者能够通过自身的肢体语言来参与和影响这件艺术品。
• 学习与培养利用仿真实际世界中的物理现象与动态情境，在教育行业中应用，例如物理学、工程学及医疗培训等领域。