奇迹动画 —— 利用人工智能技术将视频序列转化为三维动态场景的解决方案

Wonder Animation指的是什么

Autodesk 的子公司 Wonder Dynamics 近期发布了一项名为 Wonder Animation 的创新人工智能技术，并已在 Wonder Studio 推出了测试版本。这项技术利用 Video to 3D Scene 技术将视频序列转化为三维动画场景，从而加快了动画电影的制作流程。Wonder Animation 能够处理包含多个剪辑和不同镜头的视频素材，在三维空间中重建这些场景的同时匹配相机与角色及环境之间的相对位置和动作轨迹，生成一个囊括所有摄像机设置以及角色动态效果的虚拟情景。这项技术让艺术家们在保持创意控制的前提下将任何画面转换成含有CG角色的3D环境，既提升了制作效率也降低了技术难度门槛。

Wonder Animation的核心特性

• 从视频转化为三维场景把视频系列转化为三维动画环境，以加快动画影片的创作进程。
• 丰富的剪辑与镜头加工可以捕捉并处理整合了多种片段及视角（例如全景、中距景以及近景）的视频流程。
• 利用AI复原场景利用人工智能技术，在三维空间里复现场景，并准确对应相机与人物及周围环境的位置关系及其动态。
• 构建模拟环境构建一个融合了相机配置与人物肢体和表情动作模拟的虚拟环境。
• 全部均可修改的组件在选定的软件平台（例如Maya、Blender或是Unreal引擎）里，全面调整动画内容、人物设计、场景构建、光线设置以及相机运动追踪资料。
• 创新管理不同于那些主要依靠自动生产内容的生成式AI工具，Wonder Animation注重保障艺术家对创作过程的掌控力，助力他们实现个人的艺术构想。

Wonder Animation的运作机制

• 录制及解析视频运用相机录制包含多段剪辑及多样视角影片的连续画面。
• 计算机视觉及其在深度学习中的应用借助深度学习与计算机视觉的方法，对视频内的行为及背景进行解析，并辨识出人物、摄像头的摆放角度以及各类环境要素。
• 三维空间重构通过运用人工智能技术，在三维环境中精准复现视频中的情景，涵盖人物、相机及背景的具体方位与动态。
• 数据的比对与更新同步对重构的三维环境与初始录像资料进行对照，以保障行为及背景间的协调统一性。
• 呈现及整合把重构后的三维场景转化为可在诸如Maya、Blender或是Unreal Engine等三维设计软件里进行修改的文件格式，方便创作者进一步加工与优化。
• 云端渲染技艺利用云端渲染技术提升工作效率，解放本地的处理能力，并加速动画创作过程。

Wonder Animation项目的仓库位置

• 官方网站:convert-wonderful-video-animation-to-3d-environment-tech

Wonder Animation的使用情境

• 动画影片创作在常规的动画影片创作过程中，加快了人物动态的生成速度，并降低了对实际动作捕获装置的依赖。
• 电子游戏制作游戏制作人员能够迅速地把实景录像转换成游戏中逼真的三维动画背景，从而增强游戏角色与环境的现实感。
• 数字化制作于电影及视频创作领域内，构建虚构场景与空间，使演职人员能够通过面对绿色屏幕或LED墙面进行演出，并即时观察自身与所处虚幻背景之间的互动效果。
• 提升现实体验的增强现实(AR)与构建完全虚拟环境的虚拟现实(VR)在使用AR与VR技术的应用程序里，创造出身临其境的三维场景及人物形象，以增强用户的体验感受。
• 宣传与推广营销人员迅速创作出动人的3D动画广告，增强其视觉吸引力。