动态画布 —— 香港中文大学与 Adobe 等机构开发的可控制图像转视频技术

MotionCanvas指的是什么？

MotionCanvas是由香港中文大学、Adobe研究院及莫纳什大学共同开发的一种图像转视频（I2V）技术，它能够将静态画面转变为充满动态效果的影片。该方法通过整合一个运动设计模块，使用户能够在图片上直观地设定相机和物体的移动路径，从而创造出复杂的摄像机角度。利用其特有的运动信号转换功能，MotionCanvas可以精准地把用户在三维空间中的动作意图转化为二维屏幕上的控制指令，进而驱动视频扩散模型产出高品质影片内容。此外，该技术还允许同步操控相机与对象的动作轨迹，生成具有精细局部动态和复杂路径的长篇视频。

MotionCanvas的核心特性

• 协同操控摄像机与对象移动用户能够在图片中直接规划出摄像机的动作轨迹，包括但不限于位移、转动或调整视角大小，并且还可以设定对象的整体动态效果，比如整体平移和放大缩小。此外，还能具体到对象的部分动作设计，例如人物的手臂挥动等细节操作。
• 运动控制在三维感知中的应用该系统利用深度估算与动作数据变换组件，在三维环境内模拟物体移动，并将这些动态信息转化为适合二维显示设备的表现形式，从而制作出富有立体视觉体验的画面内容。
• 创建长时间视频内容能够创建各种时长的视频，并且可以处理复杂移动路径及连贯镜头规划。
• 丰富的使用场景适用于执行诸如运动迁移及依据起始帧进行编辑的视频创作等简易视频编辑工作。

MotionCanvas的核心技术机制

• 运动方案规划单元用户提供一幅图像充当“背景板”，并在三维环境里规划摄像机及对象的动作路径。摄像机的动作依据预设的关键时间点的姿态来执行，而对象的移动则是借助于场景中固定的边框范围以及分散标记点的行进路线来界定。
• 运动信号变换组件该过程旨在把用户在三维环境里规划的动作意图转化为二维显示界面上的具体动作指令。通过利用深度信息与摄像头参数分析的技术手段，实现从3D摄像机路径到2D位置移动路线的转变，并进一步将固定于场景中的边界框和这些点状轨迹映射至屏幕坐标系中生成相应的信号反馈。
• 运动状态下的视频创建模型通过调整预训练的DiT（扩散Transformer）架构，使之能够依据屏幕内的动态状况创造视频内容。该过程利用编码后的路径点与边界框序列作为指引信息输入至视频生产模块中，从而产出契合使用者期望的影片片段。
• 自动回溯创造通过采用自回归的方法，利用已生成的视频片段来指导接下来的内容创作，可以逐段构建连贯的视频流，并有效防止一次性创建长时间视频时可能出现的动作断续现象。

MotionCanvas项目的网址

• 官方网站项目页面：访问此链接以查看相关内容 – https://motion-canvas25.github.io/
• 关于arXiv上的科技文章访问该链接以获取最新更新的学术论文：https://arxiv.org/pdf/2502.04299，其中包含了深入的研究内容。

MotionCanvas的使用场合

• 影片及视像创作迅速构思复杂的画面镜头，把静止的图片转变成生动的视频片段，在广告和宣传活动等领域中运用，以增强其视觉冲击力。
• 动漫制作创建动画演示及人物动作序列，通过从静止的故事板或图片中捕捉动感元素，从而提升制作效能。
• 虚拟现实与增强现实体验创建用于虚拟与增强现实应用程序的互动动态环境，提升用户的沉浸体验，并实现即时互动功能。
• 电子游戏制作创作游戏中的过渡动画与活动背景，增强故事叙述的层次感及视觉冲击力，为玩家带来更加多元化的感受。
• 教育培训通过把静态的教学图片转变为动态的视频形式，在课堂教学及专业的实训演练中使用，能够显著增强教育的吸引力并优化学习成效。