感知即控制 – 阿里通义实验室发布全新的图像动画框架感知作为掌控之道 – 阿里通义实验室引领图像动画框架的推出洞察力驾驭万象 – 阿里通义实验室呈现全新图像动画框架视觉引擎登场！阿里通义实验室揭示最新图像动画框架

105 0 0

Perception-as-Control的含义是什么

阿里巴巴通义实验室最新推出的图像动画框架是Perception-as-Control，它能够根据用户的意图来实现精细化的运动控制。这个框架通过构建3D感知运动表示来将相机和物体的运动转化为直观且一致的视觉变化，并将感知结果作为运动控制信号，以支持各种与运动相关的视频合成任务。Perception-as-Control框架基于U-Net架构中扩散模型进行开发，结合参考图像外观信息和运动控制信号中的运动信息，生成可操控性强的图像动画。此外，Perception-as-Control还采用了三阶段训练策略，在平衡相机和物体运动控制方面取得了良好效果，并在多种应用场景中展现出卓越性能。

Perception-as-Control的主要作用

Perception-as-Control的主要功能是通过感知来控制。

微小颗粒级别的协同动作控制：为了实现相机和物体运动的协同控制，我们提供了一种支持用户以细粒度方式操控动画元素的方法。这使得用户能够准确地调整场景中物体的运动轨迹以及相机视角的变化。
合成多种与运动相关的视频任务我们提供多种与运动相关的视频合成任务支持，包括图像驱动的运动生成、视频引导的运动克隆、运动迁移和运动编辑。
- 自动产生运动通过用户提供的参考图像和2D轨迹，我们能够创造出一段生动的动画。
- 运动复制
  伪原创改写：
  
  运动克隆是指通过模仿和复制的方式来进行体育活动。这种方法可以帮助人们学习和掌握各种不同的运动技巧和策略。通过观察和模仿优秀的运动员，我们可以更好地理解他们成功的原因，并尝试将其应用到自己的训练中。同时，通过复制他们在比赛中展示出来的技术和战术，我们也能够提高自己在实际比赛中的表现水平。总之，运动克隆是一种有效且有趣的学习体育知识和提升个人能力的方法。模仿源视频中的相机和物体动态。
- 运动转移，亦称为动力转移，是指将体力活动或运动的能量从一个物体或系统转移到另一个物体或系统的过程。这种现象常见于各种日常生活中的情况，例如在健身房中进行训练时，我们会将身体的能量从一组肌肉转移到另一组肌肉上。此外，在工程领域中也经常涉及到运动转移的概念，例如机械传动系统中通过齿轮、皮带等方式将能量传递给其他部件。总之，运动转移是一种重要且普遍存在于我们周围的现象，在各个领域都有着广泛应用和研究价值。：将源视频中的特定运动效果迁移到参考图像上的不同对象，且这些对象在位置和大小上有所变化。
- 体育编辑：用户可提供分割掩码，对所选运动进行编辑。
3D感知动作表达通过建立3D感知运动表示，可以将复杂的3D场景简化为关键对象部分（使用单位球来代表）和世界包络，从而实现直观且一致的视觉变化。

技术原理：感知即控制

Perception-as-Control（感知即控制）是一种创新的技术原理。它基于一个简单而强大的概念：我们可以通过感知环境来实现对事物的控制。

传统上，我们通常将控制和感知视为两个独立的过程。然而，Perception-as-Control打破了这种传统观念，提出了一种全新的思路。它认为，通过准确地感知环境中的信息，并将其转化为可操作性强、高效率的行动，我们可以实现更精确、更智能地掌握事物。

具体来说，在Perception-as-Control中，我们利用先进的传感器和数据处理技术来获取环境信息，并将其转化为可供系统使用和响应的指令。这些指令可以直接影响到系统行为和结果。

相比于传统方法，在Perception-as-Control下，我们不再依赖预先设定好且固定不变的规则或参数来进行控制。相反，系统会根据实时获取到的环境信息自主调整并作出决策。

总之，“感知即控制”这一技术原理引领着科技发展进入一个全新阶段。它使得系统能够更加灵活、智能地适应各种复杂情况，并在日常生活中发挥越来越重要且广泛应用价值。

3D感知动作表达我们可以通过将3D场景简化为关键对象的部分（用单位球来表示）和世界包络，利用3D点跟踪和视觉里程计技术来捕捉局部物体的运动以及全局相机的运动。
互联网结构采用去噪U-Net结构，我们利用两个轻量级编码器对相机和物体控制信号进行编码，以避免受到RGB级别的干扰。最后，通过融合模块将编码信号合并在一起。
图像注入的参考通过将参考图像的外观信息融入生成过程，ReferenceNet确保所生成的视频能够保持与参考图像相同的独特外观。
三个训练阶段策略：作为一名全能的文案编辑专家，我有能力对以下内容进行伪原创改写，保持原意不变但表达方式不同。
- 首个阶段只对相机编码器进行训练，仅处理仅包含相机运动的视频剪辑。
- 第二个阶段：通过引入物体编码器和融合模块，我们可以对包含相机和物体运动的视频剪辑进行处理。
- 第三个阶段：通过利用稀疏单位球来实现对细粒度物体运动的控制，同时根据需要自动确定每个渲染点的控制范围。
传播模型通过应用图像扩散概率模型的基本原理，我们可以利用去噪U-Net架构来生成视频。我们的优化目标是尽量减小预测噪声与实际噪声之间的差异。为了实现这一目标，我们需要提供参考图像和运动控制信号作为条件输入。

项目地址为Perception-as-Control的位置

项目官方网站：点击此链接可访问Chen Yingjie的个人项目页面，其中展示了他关于“感知即控制”的研究成果。
GitHub存储库你可以在这个链接中找到关于“感知即控制”的相关内容：https://github.com/chen-yingjie/Perception-as-Control
arXiv科技论文平台您可以在以下链接找到论文的PDF文件：https://arxiv.org/pdf/2501.05020。

Perception-as-Control的使用领域

电影与视觉效果创造动画场景时，可以生成特定运动效果，模拟复杂的视频中的运动，并将一个角色的动作迁移到另一个角色身上。
游戏制作通过生成自然且可操控的动画，我们能够增强游戏的沉浸感和动态效果，使角色和物体在游戏中展现出更加真实的表现。
虚拟现实（VR）和增强现实（AR）是两种引人入胜的技术。虚拟现实通过模拟环境，使用户感觉自己置身其中，完全沉浸在一个虚构的世界中。而增强现实则是将数字信息与真实世界相结合，为用户提供更加丰富的感官体验。
伪原创改写：
VR和AR是两种令人着迷的科技。VR利用模拟环境让使用者身临其境，仿佛进入了一个幻想般的世界；而AR则将数字信息与真实环境融合，在感官上给予使用者更多层次、更加精彩纷呈的体验。通过使用虚拟现实技术，我们可以在虚拟环境中实时生成动画反馈，从而提升用户的互动体验。另外，在增强现实应用中，我们还能够将虚拟物体的动画与真实场景完美地融合在一起。
广告与推销我们能够创作出引人注目的动态广告和品牌推广动画，从而增强品牌形象和留下深刻印象。
教育与培训我们提供科学实验动画和技能培训模拟动画的制作服务，旨在帮助学生和学员以更直观、生动的方式理解和掌握知识与技能。