MotionCLR – 基于AI的运动编辑系统，通过文字指令创建匹配的动作流程

MotionCLR指的是什么？

MotionCLR是一款利用注意力机制的技术来创建和修改人体动作的创新模型。它能够通过文字提示合成相应动作，并允许用户进行互动式调整，比如强化或减弱某些动作用途，替换特定部分的动作或是转移风格等操作。该模型运用了自我注意与交叉注意技术来解析及修改运动模式，适应多种编辑需求，包括但不限于增强/削弱动作强度、替代静止姿势以及依据样本生成新动作等功能。MotionCLR在HumanML3D数据集上展现出优异的性能，不仅能够产生高质量的动作序列，并且能精准匹配文本描述内容，在保持多样性和易理解性的同时实现了卓越的可编辑能力。

MotionCLR的核心特性

• 由文本引导的动作创造：依据用户提供文字说明来创建对应的动作流程。
• 动作的突出与淡化：在文本里修改行动关键字的重要性，使其触发的行为效果更加显著或是更为轻微。
• 现场动作置换：允许用户在维持其余操作不动的前提下，更换指定的动作。
• 依照实例创建动作：创建一个与所提供实例行为相近的动作系列。
• 动作样式转换：把一个动作的特色转移到另一个动作中，创造具备新颖风格特点的动作组合。
• 动作编排调整：能够对动作系列执行更为精细的修改，包括重新排列动作次序和调节各动作的时长。

MotionCLR的核心技术机制

• 自我关注机制：把握动作系列中每帧间的顺序联系，以维持动作流畅和真实感。
• 交错注意机制：构建细致的关联以匹配文本说明和动作步骤，确保产生的动作能够准确体现文字信息。
• 传播模型：通过应用扩散模型逐渐优化产生的动作，使该模型的细节更为精致且更具真实感。
• 培养独立的编者：该模型允许用户在无需重新培训的前提下修改动作，从而增强了编辑过程的便利性与实际应用价值。
• 关注点映射技术：通过修改注意力映射以执行动作编辑，例如，通过调节注意力权重来增强或减少对特定动作的关注。

MotionCLR项目的仓库链接

• 官方网站PROJECT访问链接：https://lhchen.top/MotionCLR以获取更多信息。
• Git存储库：访问此链接以查看由IDEA研究院开发的MotionCLR项目 – https://github.com/IDEA-Research/MotionCLR
• 关于技术的arXiv论文在学术论文数据库中可以找到编号为2410.18977的文件，具体链接如下所示：https://arxiv.org/pdf/2410.18977。
• 网上试用演示版：访问EvanTHU创建的MotionCLR项目，请参见此链接——https://huggingface.co/spaces/EvanTHU/MotionCLR

MotionCLR的使用场合

• 游戏创作：创建游戏内人物的动态效果，确保动作流畅且富有多样性。
• 动画创作：帮助动画设计师迅速创建或调整人物动作，从而提升动画生产效率。
• 虚拟与现实技术（VR）及增强实境（AR）：创建真实的用户行为模拟，应用于VR和AR交互式体验中。
• 影视创作：用于预先展示动态场景或作为后期制作的动作参照。
• 人际互动与机器操作：在那些需以人体动作作为输入信号的互动系统里，比如动作捕获与游戏操控领域。