浙大与字节跳动共同研发的姿态驱动型人物视频创建架构 — HumanDiT

HumanDiT代表的是什么？

HumanDiT 是由浙江大学与字节跳动共同研发的一种高保真人体运动视频生成框架，采用了扩散变换器（Diffusion Transformer, DiT）技术，在大规模数据集上训练以生成长时间段内具有精细身体渲染的人体动作视频。该系统的核心创新点在于其姿态引导机制，借助关键点扩散变换器（Keypoint-DiT），能够准确预测并连续生成后续的姿态序列，确保了人体运动在视频中的自然流畅性与连贯度。此外，HumanDiT 还采用了前缀潜在参考策略来维护个体特征的一致性和个性化表现，在支持多种分辨率和可变长度的视频制作方面表现出色。通过姿态适配器的功能增强，它能够实现对给定序列的姿态迁移，并进一步优化了姿态同步的精确性。

HumanDiT的核心特性

• 基于姿势导向的视频创作HumanDiT 利用关键点扩散变换器（Keypoint-DiT）来创建连续的姿态序列，以保证视频内人物动作流畅且自然。
• 长时间视频创作该技术兼容多种视频清晰度选项及灵活的帧序列长度，特别适用于制作长时间段内高品质的影像内容。
• 维持独特的个性特点采用前置潜在引用方法，确保在长时间序列内维持个性特点。
• 便捷的输入和输出功能能够基于静止图片或是现有的影片素材持续创作视频内容，广泛适应各种使用场景。
• 姿势调整与优化利用姿势适配器完成指定序列的姿势迁移，并借助姿势优化组件来提升脸部及手部细节与参照图片的一致性。

HumanDiT的核心技术机制

• 姿势指引及扩展转换器HumanDiT 利用姿态引导技术来创建视频内容，在推断过程中依靠关键点扩散变换器（Keypoint-DiT）生成后续的姿态系列。这种方法保证了视频中人物动作的一致性和自然流畅性，并且该扩散变换器具备处理多种分辨率和不同序列长度的视频的能力。
• 可能的前置参考方案为确保长时序视频创作中的个性特色，HumanDiT 实施了前置潜势参照机制。该方法利用视频起始帧构建成纯净前置潜势矢量，在整个生产流程中作为参照点使用，以此维持视觉上的统一性。
• 姿势调整器及姿势优化组件HumanDiT 采用姿势适配器执行指定序列的姿势转换，并借助姿势精调组件进一步提升生成的姿势序列的质量。这种方法特别增强了如脸部和手部这类细节点的姿态逼真度，保证了它们能够精确匹配参照图片中的表现。
• 利用海量数据集进行模型训练HumanDiT 经过一个汇集了14000小时优质视频的大规模数据集的训练，这些数据经过精心设计的数据处理程序采集而来，内容涉及广泛的人类动作情境。这使得模型能够掌握丰富的运动模式，并在推理时展现出卓越的泛化性能。

HumanDiT项目的仓库位置

• 官方网站建设项目访问该页面以了解更多信息：https://agnjason.github.io/HumanDiT-page/
• arXiv科技文章在学术资源共享平台ArXiv上，有一篇编号为2502.04847的研究论文可供查阅。

HumanDiT的使用情境

• 数字人物化身HumanDiT 能够创建更为自然连贯的虚拟人物动态影像。特别是在模拟客户服务的应用中，该技术使虚拟形象能够根据用户的问题即时展现出对应的动作与面部表情变化，从而带来一种更鲜活且真实的互动感受。
• 动漫影片HumanDiT 具备创建高水准及延长时段人体动态影像的能力，适用于设计动画人物的活动流程，并协助动画创作者迅速完成优质动作场景的构建，进而提升生产速率。
• 深度感受体验借助 HumanDiT 技术，能够创建出适用于深度沉浸环境的虚拟人物及其动态表现。在高度沉浸式的虚拟现实环境中，该技术能创造出符合情境的人物姿态与面部表情，极大地提升了用户的临场感和体验的真实度。
• 视频创作及延展制作能够基于一张图片创建视频，或是为已有视频延长更多情节。