一镜一刻 —— 中科大与香港理工合作开发的动态影像生成技术

什么是One Shot, One Talk？

One Shot, One Talk是一项前沿的技术方案，能够基于单一图像生成一个包含个性化特征细节的动态讲话人物形象，并支持高度真实的动画效果，涵盖自然的表情过渡与生动的身体动作模拟。这项技术由中国科学技术大学及香港理工大学的研究团队开发，融合了姿势引导下的图片转视频扩散模型以及3DGS-mesh混合头像表示方法，从而实现对新姿态和表情的良好适应能力。借助一张照片即可创造出既逼真又灵活可动，并且情感丰富的全身讲话人物形象。

《一击即中，一键沟通》的核心特性

• 基于单一图片的重构：利用单一图像生成完整的身体及动态讲话的头部模型。
• 高度真实的动画表现提供包含细腻肢体动作与丰富 facial expressions 的高度真实感动画体验。
• 独特化元素把握并展现个体的独特特性和细微之处。
• 精准调控实现对面部图像姿态与情感表现的精准调节。
• 广义应用能力能够适应新姿态与表情的变化，即便这些变化未曾出现在训练数据中。

单次射击，单次对话的技术机制

• 基于姿态指导的图片转视频扩散模型利用模型创造带有瑕疵的视频帧作为模拟标签，以达成对于新的姿态与表情的有效扩展。
• 结合3DGS与mesh的复合型头像表现形式通过融合三维高斯分布模型与参数化的网格结构（例如SMPL-X），提升虚拟人物形象的表现能力和逼真度。
• 重要的规范化方法采用正则化方法来减少由伪标签导致的一致性问题，以保证头像结构及动态模型构建的精确度。
• 虚拟标签创建利用诸如TED手势数据集之类的资源来引导预训练模型，以创建展示特定个体完成各种姿态与面部表情的视频片段系列。
• 代价函数与限制条件创建多种损失函数与限制条件，例如使用感知损失（比如LPIPS指标）及像素精确度损失，以高效地从原始图像和合成标注数据中获取信息，并确保头像重构的稳定性。
• 改进与培训采用Adam优化算法进行模型训练，并通过精细调整各损失函数间的权重比例来实现最佳的脸部图像重构效果。

One Shot, One Talk项目的所在位置

• 官方网站建设项目https://github.com/xiangjun-xj/OneShotOneTalk
• 关于技术的arXiv论文访问此链接可获取相关论文：https://arxiv.org/pdf/2412.01106，内容经过了重新表述但保留了原始信息。请注意，直接提供的链接未改动，因为它是特定文档的唯一标识。对于基于该文献的内容改写请求，请提供具体的文本部分。

一个鞋，一次分享的使用情境

• 提升现实感的增强现实(AR)与构建完全沉浸体验的虚拟现实(VR)于AR/VR应用程序里，构建高度真实的数字人物形象，以增强使用者的沉浸式感受与互动乐趣。
• 远端交流与虚拟临场感利用生成高度真实的全身动画头像技术应用于在线会议中，旨在使远端交流更为流畅且高效。
• 娱乐与嬉戏在游戏中及影片创作过程中，能够迅速创建或是个性化设计人物形象，大幅降低常规的动作捕捉与模型构建所需的时间和经济投入。
• 社交网络与创意制作用户能够定制独特的虚拟角色，应用于社交网络或是作为虚拟艺人来开展创作活动。
• 教育与训练在虚拟教学场景中，老师们通过栩栩如生的数字形象提升了远程教育的质量。