复旦与微软等机构共同开发的身份一致性的全流程视频扩散架构 — StableAnimator

StableAnimator指的是什么

由复旦大学、微软亚洲研究院、虎牙公司及卡内基梅隆大学联合开发的StableAnimator，是一款能够保持身份一致性的高质量端到端视频扩散框架。该框架可直接合成与参考图像风格相符且姿态连续的高清晰度视频，并在整个过程中无需额外后处理工具介入。通过运用计算成像和面部嵌入技术、优化全局内容感知脸部编码器以提升面部信息的质量，以及采用分布感知ID适配器来降低时间层干扰，StableAnimator在推理阶段还利用基于Hamilton-Jacobi-Bellman方程的优化算法进一步提高视频中的人物面貌质量。

StableAnimator的核心特性

• 维持身份的视频融合StableAnimator能够利用给定的参照图片与姿势序列来生成维持人物特征统一性的视频素材。
• 不必进行后续处理不同于传统动画模型，StableAnimator能够直接生成高质素的动画效果，无需借助额外的后期处理软件或是脸部修复技术。
• 高度 fidelity（注：fidelity 在此上下文中可理解为“逼真度”或“精确度”，但由于中文里没有直接对应的词汇，使用 “高保真度” 更加贴切。此处为了变化表达方式，采用英文词汇，并附带解释以保持原意不变）该框架创建的视频展现了极高的真实感，细节精致且生动，人物的动作与外貌几乎等同于现实世界的呈现。
• 全栈式架构作为一款集成了训练与推理组件的全链条视频扩展系统，StableAnimator在动画制作全程中维持角色特征的一致性。

StableAnimator的工作机制

• 图片与人脸特征表示StableAnimator采用预先配置的抽取工具来单独测定图像与人脸的特征编码，以此奠定维持身份一致性的基本元素。
• 整体情境理解脸部编码器通过与图像嵌入互动，面部编码器能够更精细地调整面部特性，并提升模型识别参考图片整体结构的能力。
• 分布式识别ID调整器这款创新的部件能够避免由时间层次引发的干扰问题，并通过同步处理来保持个体特征的一致性，从而保证在不同视频帧中同一主体的身份连贯性。
• Hamilton-Jacobi-Bellman (HJB) 方程的优化处理于推理过程中，运用HJB方程实施面部改良，以更显著地提升面容品质。结合扩散降噪机制导向最优身份一致性的目标路径，引领模型进行调整和发展。
• 整合进噪声去除流程中在扩散去噪的过程中集成了HJB方程的解法，确保了去噪过程遵循特定规则，从而有助于维持原始的身份特征。
• 多重路径管理参考图片通过三种途径进行处理：利用VAE编码、CLIP图像编码以及Arcface面部特征编码，以此来调整生成的视觉效果并保证身份的一致性。

StableAnimator的仓库链接

• 官方网站项目的入口https://github.com/francis-rings/StableAnimator
• Git代码库：在GitHub上可以找到由Francis-Rings开发的StableAnimator项目，地址是https://github.com/Francis-Rings/StableAnimator。
• HuggingFace的模型集合：访问此链接以查看FrancisRing创建的StableAnimator模型 – https://huggingface.co/FrancisRing/StableAnimator
• 关于arXiv上的科技文章这篇论文的详情可以在网址 https://arxiv.org/pdf/2411.17697 上找到。

StableAnimator的使用情境

• 影片与录像创作通过创建及优化影片里人物的动作设计，使得动态画面更为顺畅且真实，并有效降低实际拍摄过程中的成本与潜在风险。
• 制作电子游戏在游戏开发中，通过设计具备逼真动态与情感表现的人物形象，能够显著增强用户的代入感受及整体娱乐享受。
• 仿真虚拟(VR)与实景增强(AR)于VR与AR环境中构建高度仿真的数字人物，旨在增强用户的沉浸式交互感受，涵盖诸如虚拟向导及智能助手等多种应用场景。
• 社交网络与实时播送创建虚拟主播与网红，并在社交平台开展实时直播及交流活动，以扩大观众基础并增强用户的活跃程度。
• 宣传与推广根据虚拟角色量身打造独特的广告信息，以捕获特定观众群体的兴趣，从而增强广告的记忆点与吸引力。