MoMask – 利用文本生成高精度3D人物动作的模型

MoMask指的是什么

MoMask是一款创新的人体三维动作创建工具，运用生成式掩码建模技术来依据文字描述生产出高质量的三维人体动态。该软件利用分层量化策略将人类运动编码成多级离散的动作标签，并整合了掩码Transformer与残差Transformer以合成动作序列。在由文本转化为动作的任务中表现出众，其FID评价值为0.045（基于HumanML3D数据集），明显超越同类技术。MoMask能够直接用于诸如通过文本引导的时间修复等任务，无需进行额外的微调过程。

MoMask的核心特性

• 基于文本的三维动作创建用户能够通过提供简短的文字说明来创建匹配的三维人物动态影像。比如，当用户键入“有人正在跑步机上奔跑”时，MoMask会制作出相符合的动作场景。
• 动作编排与时间管理使用MoMask能够实现对创建的动作序列进行精细的时间线调整，包括添加、移除或是更改动作段落，并且还可以修改每个动作的时长及其具体表现形式。
• 精准动作创造通过运用多层次量化与掩码建模策略，MoMask能够产出既精确又流畅的高质量三维动作系列。在其于HumanML3D数据库上的测试中，反映生成品质的FID评分达到了令人印象深刻的0.045，这一成绩远超其他技术方案的表现。
• 跨平台兼容性和用户友好型MoMask能够实现本地操作，并配备了Huggingface的WebUI展示和Colab线上体验功能，同时它也是一款适用于Blender的插件，极大地便利了用户的初次使用体验。
• 运动分析及改进MoMask配备了一个评估工具，可用于衡量所产生动作的品质与真实感，旨在辅助用户提升动作创建的效果。

MoMask的核心技术机制

• 分级量化策略MoMask运用了分层量化技术，把3D人体动态表达成一系列离散化的运动符号(token)。最初阶段利用矢量量化(Vector Quantization)方法将行动序列转化为底层的基础运动符号；随后借助迭代式的残差量化(Residual Quantization)，逐步降低误差水平，创建出更高层次的修正符号。这一过程确保了动作细节的高度保真度得以保留。
• 遮罩变换器作为MoMask的关键组成部分，在培训过程中会随机遮盖基础层的动作标签，并根据提供的文本输入来推测那些被遮盖的标签。而在创作环节，则是从一串全空的状态起步，掩码变换器经由逐次填充缺失的部分，最终构建出完整的行为序列。
• 剩余变换器此方法旨在改善分层量化过程中的残留标签管理。首先创建基础层级标签，在此基础上，利用残差Transformer根据现有层级的标签系列逐级推测出后续层级的残留变化标识符。这有助于细化运动表现，并显著提升所生成运动序列的整体质量。
• 制作流程MoMask的创建流程包含两个步骤：
  • 基础令牌由掩码变换器模型创建。：起始于一个空白序列，逐步推测并填充被遮蔽的标签，直至完成整个基础层标签序列的构建。
  • 残留Transformer产生残留标签依据基础层级上的标识信息，逐步推算出更高级别的差异标识，最后合成高品质的三维动作。

MoMask项目的仓库位置

• 官方网站建设项目访问此链接以查看相关内容：https://ericguo5513.github.io/momask/
• GitHub代码库：访问此链接以查看Eric Guo的momask项目 – https://github.com/EricGuo5513/momask
• 关于arXiv的技术文章访问该链接以查看相关的学术论文文档：https://arxiv.org/pdf/2312.00063

MoMask的使用情境

• 制作电子游戏在游戏制作过程中，MoMask能够迅速创建多种人物动作，大幅降低手工设计动画的劳动强度，并显著提升项目推进速度。
• 动漫创作动画设计师能够借助MoMask迅速创建出复杂动作的系列，并实现动态画面的高效编辑工作，从而大幅降低手工操作的需求。
• 模拟现实技术（SRT）在使用VR技术的应用程序里，MoMask能够通过解读自然语言的命令来创造出身临其境般真实的虚拟角色动作，极大地提升了用户体验的真实感受。
• 运动数据解析MoMask能够用于解析运动员的动作路径，辅助研究者更深入地掌握人体运动模式，并据此给运动员提出训练指导。
• 动作的修改和恢复MoMask提供文本驱动的编辑选项，允许用户调整动作的不同方面，比如修改时长或者细化某些元素。