腾讯开发的AI人物动作视频创建平台——MimicMotion

MimicMotion指的是什么

腾讯的研究团队开发了MimicMotion，这是一个用于创建高品质人类运动视频的技术平台。该系统采用了一种基于姿态引导并结合置信度感知的方法来保证帧间质量的一致性和平滑过渡效果。此外，借助于区域损失放大和对手部动作的特别优化处理，它大幅降低了图像失真率，并显著提升了手部细节的表现力。MimicMotion还具备生成长时间视频的能力，其渐进式潜在融合策略能够确保产出高质量、时长自由且能根据特定运动指令调整的人类行动视频，从而在提高用户对生成过程控制权的同时也丰富了内容的细腻程度。

MimicMotion的特性功能

• 创建多种风格的视频借助用户输入的姿态指南，MimicMotion可以创建各类动作的视频片段。不论是跳舞、健身或是一般日常生活中的举动，通过给出特定的姿态流程，该软件便能生成对应的运动视频。
• 管理视频时长根据用户的特定要求设定时长，MimicMotion具备生产从数秒之短暂片至数分钟乃至更长时间段全视频的能力，确保了其在多种使用场景下的灵活适用性。
• 姿势调控指引该系统采用参照姿势作为参数，以保证产出的视频片段能够准确匹配预设的身体动作模式。借助MimicMotion工具，用户可以精细调整影片中的动态元素，并达成个性化极高的视觉内容创作目标。
• 确保品质细节MimicMotion着重于捕捉视频里的细微之处，特别是那些如手部之类的易变形部位。利用信心水平识别的方法，该系统能确保在这些特定区域内呈现出更为细腻的画面质量。
• 时间的连续流畅性为了提升观看时的舒适度，MimicMotion致力于使视频帧间的切换更为顺畅，防止任何可能的停顿和断裂感，从而让影片显得更加流畅且自然。
• 降低图片变形程度借助对姿势精度的敏感辨识与指导，MimicMotion能有效检测并校正因姿势估算误差引发的图像扭曲问题，特别是在人体手部细节部分。
• 制作延长版视频MimicMotion运用逐步整合隐含特性的方法，确保在其创建长时间视频内容的过程中维持高度的时间一致性。这项技术巧妙地结合各视频片段的内在属性，显著减少了闪现与断续的问题出现。
• 管控资源使用量当制作视频的过程中，MimicMotion的优化技术致力于将资源使用控制在一个合理的水平上。即便是处理长时间的视频内容，该系统也能够高效地调度计算资源，并防止不必要的高额开销。

访问MimicMotion的官方网站入口

• 官方网站链接：https://tencent.github.io/MimicMotion/
• Tencent的MimicMotion项目在GitHub上的仓库地址为：https://github.com/Tencent/MimicMotion
• 在arXiv平台上有一篇技术论文，其链接为：https://arxiv.org/abs/2406.19680

MimicMotion的工作机制

• 基于姿态指导的视频创作借助用户供给的姿态序列作为指导信息，MimicMotion能够驱动视频内容的创作过程，并能依据姿态的不同变化来合成为对应的动态效果。
• 具备信心识别的姿势引导该系统采用了信心评分的机制，通过对姿势预测模型输出的信心值进行解析，并据此为姿态链中各关节点赋予不同权重。这种方法使模型能够更侧重于高信心水平的关键点数据，从而降低因低精度的姿态评估而导致的结果偏差影响。
• 增强局部损伤效果为了提升如手部这类易产生变形部位的表现，MimicMotion采用了增加该部分在损失函数中所占权重的方法来加强对此类区域的训练强度，进而优化了生成视频中的手部细节效果。
• 可能的传播模型MimicMotion采用潜在扩散模型以提升生成的效能与品质，该方法是在较低维度的潜空间内执行扩散程序，而非直接处理像素数据，这有效降低了运算负担。
• 逐步实现潜在整合为创建长时间的视频内容，MimicMotion运用了一项递增式的隐含特性整合方法。此技术通过对相邻视频片段间重叠帧进行逐步特征融合，确保了片段间的流畅过渡，并有效消除了长视频生成过程中常见的闪烁及断续问题。
• 利用预先训练好的模型MimicMotion利用了一个预先训练好的视频生成模型（例如Stable Video Diffusion, SVD），从而降低了对初始数据量及计算资源的需求。
• U-Net与PoseNet的设计框架MimicMotion的设计融合了一个利用U-Net进行时空互动的部分以及另一个通过PoseNet来捕捉姿态序列特性的组件。这两个组成部分协同作用，旨在达成卓越品质的视频产出。
• 帧间流畅度MimicMotion在处理时注重各帧间的时间关联，保障了视频序列中画面过渡的流畅与一致。