北大联合多家高校开发的提升人物图象动画效果调控技术——DisPose

DisPose指的是什么？

来自北京大学、中国科学技术大学、清华大学及香港科技大学的研究团队联合开发了名为DisPose的技术，旨在优化人物图像动画的效果，并实现精准控制。该技术通过从骨骼姿态与参考图片中提取关键控制信号来运作，无需其他密集的数据输入。DisPose将动作操控细分为运动场指引和特征点匹配两部分，生成的密集运动场所提供的区域级指导不仅提升了操作精细度，还确保了对不同体型的有效适应性。此外，DisPose配备了一个可灵活集成的混合ControlNet模块，能够显著增强现有模型在视频制作中的表现力与一致性。

DisPose的核心特性

• 体育场地指引通过骨骼姿势创建高密度运动场，以实现局部精细指导，并在视频制作过程中提升动作的一致性。
• 要点匹配从参照图片的姿态关键点处抽取扩展特性，并将这些特性应用到目标姿势上，同时确保个人特征的连续性。
• 直接安装使用的组件作为一个插件组件，它能够不需调整原有设置即可平滑地融入当前的人物图象动画系统中。
• 提高质量和保持一致性的水平结合使用ControlNet可以提升生成视频的品质并确保视觉上的一致性。
• 不必进行额外的高强度输入无需依靠额外的复杂数据（例如深度图像），并在降低因参考对象与驱动视频之间的体型差异带来的敏感度方面表现出色。

DisPose的操作机制

• 对运动场地的估算由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您提供一段具体文本，我将会根据您的要求对其进行同义转换。
  • 稀少动态区域DWpose通过跟踪关键点的移动来估算身体姿势，并以轨迹图的形式展示运动路径。
  • 拥挤的运动场地条件运动推估（CMP）利用稀疏的运动矢量与参照图片来预报精细的完整运动会模式，从而增强对细微动作的表现力。
• 核心特性抽取通过运用预先训练好的图像扩散模型来抽取参照图片中的DIFT特性，并把这些特性与特定的关键点相匹配，进而生成一张反映关键点特性的映射图。
• 结合ControlNet开发了一种可动态调整的混合ControlNet，允许在训练过程中进行更新而无需固定原有模型的其余组件。这使得能够顺畅地整合运动场指导与关键点匹配功能至现有的动画生成框架之中。
• 特性整合由于提供的原文为空，无法进行相应的改写处理。如果您有具体的内容需要帮助，请提供详细信息。
  • 通过结合稀疏与密集的运动特性于特征整合层中，我们能够创建出指导性最强的最终运动场景信号。
  • 通过融合多尺度点编码器的关键点特性与U-Net编码器中的间歇性特点，提升了特性的语义匹配度。
• 整合调控指令通过把运动场指导与关键点匹配作为附加控制信息，融入到潜在的视频扩散算法中，以创建精确的人像动态画面。

DisPose的工程链接

• 官方网站项目版块https://github.com/lihxxx/DisPose
• Git代码库：在GitHub上可以找到由lihxxx开发的DisPose项目，网址是https://github.com/lihxxx/DisPose。
• 关于技术的arXiv学术文章在学术预印平台ArXiv上发布了一篇编号为2412.09349的研究论文。

DisPose的使用情境

• 创意艺术作品创作者制作了展示独特姿态与情感的活动艺术品，包括动画画作和互动式数字雕像。
• 社交平台在社交网络中，创建独特的动画头像或表情包以提升交流的乐趣和参与感。
• 数字化人物与虚拟明星设计并操控虚拟人物的动态与情感表现，适用于在线直播、远程视频交流或以虚拟艺人身份演出。
• 影片创作在影片的后制阶段，创建或调整人物的动作设计可以提升整体生产效能。
• 模拟现实(VR)与增强实境(AR)在运用VR和AR技术的应用程序里，创建能够与使用者进行交互的虚拟人物，以达到更为真实和自然的交流感受。