阿里通义研发的高精度人物图象动画制作技术 —— Animate Everyone 2

Animate Anyone 2指的是什么

通义实验室隶属于阿里巴巴集团，其最新研发的 Animate Anyone 2 技术能够生成高保真的角色动画图像，并融入环境信息以提高真实度。与传统的技术不同的是，该系统可以从视频流中提取动态信号，并利用环境表示作为输入条件来增强角色动作的真实性和自然性。此外，“形状无关掩码策略”的应用解除了掩码区域和角色外形的直接关联，使得角色与其所处场景的关系更加准确地被表现出来，并减少了轮廓泄露的问题。“物体引导器”及“空间混合技术”的引入进一步提升了人物与环境中物品互动时的真实性；而通过实施“深度姿态调节方案”，该系统在处理复杂动作序列方面表现出更高的稳定性和可靠性。

Animate Everyone 2的核心特性

• 高质量角色动画创作使用 Animate Anyone 2，可以根据提供的角色图片与动作数据创建出既流畅又高水准的动态人物视频。
• 处理复杂的动作步骤Animate Anyone 2 配备了“高级姿势调控机制”，使得该系统能够应对多样且复杂的动态情况，并提高了其在面对高难度动作情境时的表现稳定性，保证了角色的动作流畅而合乎逻辑。
• 角色间的实时互动使用 Animate Anyone 2 可以创建人物间的交互动画，保证动作之间相互配合，并与周围的环境相契合，从而在涉及多个角色的场景中实现更加逼真的动画展示。
• 跨越身份的动画创作该技术能够制作各类角色的身份动画，并且即使提供的角色图片不同于源视频内的原有形象，依然可以创造出高品质的动画内容，展现了出色的通用性能。

Animate Everyone 2的工作机制

• 环境识别与集成使用 Animate Anyone 2 可以从原始视频中获取动作数据，并进一步采集周围场景的信息作为附加输入条件。这里的“周围场景”指的是除去人物所在范围外的所有部分，该软件能够通过生成相应的人物图像来填充这些区域，同时确保与背景环境的和谐统一。
• 与形态无关的遮罩方法为更加高效地刻画角色和背景间的关系，引入了一种名为“形态无关遮罩技术”的方法。该方法在训练过程中破坏了遮罩部分与角色外形间的关联性，从而减少了形态信息泄露的问题，并促进了更自然的角色与场景融合效果。
• 提升物件互动体验在 Animate Anyone 2 中，引入了名为“对象导引者”的功能，用于捕捉和分析与人物互动的对象特性，并借助“空间融合”技术把这些特性融入到内容的创建流程中，以此来提升人物与周围物品互动时的逼真程度。
• 深层次姿势调控方法为了解决多样且复杂的运动形态问题，我们提出了“深层姿势调节方案”。该方法通过融入有组织的深层次数据以加强骨骼追踪信号的质量，使得系统能够更准确地描绘出身体各部位的空间布局，并在执行复杂动作时展现出更强的稳定性。
• 利用扩散模型构建的体系结构：Animate Anyone 2 利用扩散模型架构，并运用预先训练好的变分自编码器（VAE），把图片由像素域映射至潜伏域，在此过程中借助去噪模块逐渐消除噪音，最后实现图像的复原。

Animate Anyone 2的工程链接

• 官方网站PROJECT访问此链接以查看相关内容：https://humanaigc.github.io/projects/animate-anyone-2/ 更新表述以提供相同信息的不同视角。请注意，实际URL未做修改，因为它是特定资源的定位标识。
• 关于arXiv上的科技学术文章访问此链接可查看相关文档：https://arxiv.org/pdf/2502.06145

Animate Anyone 2的使用情境

• 电影与电视节目创作于电影与电视节目创作过程中，Animate Anyone 2 能够高效地创建出高品质的人物动画，并具备人物更换及动作转换等特性。
• 推广与市场宣传于广告及市场营销行业而言，利用 Animate Anyone 2 能够便捷地在视频内更换角色，并使动作与表情自然过渡。此举有助于为企业打造更引人注目且个性鲜明的广告素材，从而增强用户的互动兴趣。
• 虚拟实境（VR）与扩增实境（AR）在使用虚拟现实及增强现实技术的应用程序里，Animate Anyone 2 能够创建出与虚拟场景完美结合的人物动作效果，从而带给用户更为身临其境的感受。
• 视频游戏创作在游戏开发中，能够迅速创建多样的角色动画，并确保角色能与游戏场景进行流畅互动。这不仅提升了制作速度，还让玩家享受到更为真实的游戏感受。
• 教育培训在教育与培训行业中，Animate Anyone 2 能够制作定制化的虚拟人物，适用于仿真教学环境或是训练展示中，从而提升学习的乐趣和成效。