阿里推出AI角色动画项目Motionshop – 实现视频中的人物替换成3D模型

Motionshop指的是什么

Motionshop是由阿里巴巴智能计算研究院（包括XR实验室及TIDE三维渲染团队）开发的一款AI驱动的角色动画系统。它能够在保留原视频背景和其他人物的前提下，将视频内的人物替换成一个3D化身形象。通过综合运用视频编辑、目标识别与分割追踪、动作解析、模型生成以及动态效果制作等技术手段，Motionshop能够让现实中的主要角色瞬间转变为充满趣味的三维虚拟形象，实现从真实世界到虚拟世界的无缝转换。

官方网站地址：https://aigc3d.github.io/motionshop/

网上试用链接：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

Motionshop的特性与功能特点

• 把视频中的人物转换成3D虚拟形象当用户上传视频后，AI能够自动辨识出视频内的关键人物，并将他们转变为栩栩如生的3D角色模型，整个过程流畅自然。
• 动作协调与现实体验Motionshop不仅能替换成不同的角色形象，还能够精准复制原始视频里的人物动作细节，保证了3D角色的动态既流畅又自然，并呈现出极其真实的视觉体验。
• 真实世界与数字世界的完美结合借助Motionshop的力量，现实生活中的个体能够与3D虚拟人物无缝结合，开拓了一种突破物理和数字边界的创新体验模式，极大丰富了视频创作的可能性。

Motionshop的操作机制

Motionshop框架包含两个主要组成部分：一个负责从背景视频中提取和修复影像的处理步骤，另一个则专注于生成3D虚拟角色及其姿态估计与渲染的过程。借助两条线程并行工作，并结合高性能光线追踪引擎TIDE的作用，整个替换视频的工作流程可以在短短几分钟内高效完成。

以下是所涉及的具体技术：

1. 人物辨识：起初，Motionshop通过运用高精度算法来准确捕捉视频内的人物形象，以保障接下来操作的精准性。
2. 针对视频中的物体进行精细分割与追踪：基于人物识别技术，该系统能够实现对视频内目标物以像素级别精确划分并持续追踪其动态变化，以便于后期编辑时可以更便捷地对其进行修正或置换。
3. 视频优化：运用前沿的修复技术，对背景视频中的缺陷与不足加以改进。
4. 动作捕捉：利用CVFFS等精准的姿态预测技术，该系统能可靠地记录人物的姿势变化，从而为动画转换提供坚实的基础。
5. 动作转换：确定了人物的姿势之后，Motionshop会把这些姿势应用到指定的三维模型中，从而使新的模型可以流畅地再现原角色的动作。
6. 光线估算：为保证新的模型能够完美匹配原视频中的光照效果，系统将执行精准的光线估算工作，从而达到视觉上的自然结合。
7. 借助于TIDE渲染引擎的力量，Motionshop能够把3D模型转化为一系列高度真实的图像。在此过程中，还会运用诸如动态模糊和时间性抗锯齿的技术来进一步增强最终的渲染效果。
8. 在最终步骤中，把制作出的新3D渲染画面和已恢复的视频背景结合在一起，形成一段能够完美接续原版内容的新影片系列。

掌握Motionshop的使用方法

1. 探索Damo_XR_Lab在ModelScope魔搭平台上创建的Motionshop演示，请前往：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
2. 制作一个不超过15秒的视频片段，并保证其中的主要人物形象是完整的。
3. 在您上传视频之后，系统会自动选取其中出现的人物。
4. 挑选一个你想使用的虚拟人物模型来替代原有的。
5. 最终点击创建视频的按钮，稍等片刻就能得到生成的结果。