跟随表情符号——腾讯等公司开发的以扩散模型为基础的人物动画架构

什么是Follow-Your-Emoji？

由香港科技大学、腾讯混元以及清华大学的研究团队开发的Follow-Your-Emoji是一个采用扩散模型技术来实现人物图像动态表情变化的框架。该系统能够依据目标表情序列为参考肖像生成动画效果，并且通过精确匹配面部关键点以确保表情与原始肖像的一致性，防止身份特征失真。此外，它运用精细的脸部损失函数提升对细微情绪转变识别的能力。Follow-Your-Emoji适用于多种风格的人物形象制作动态表现，涵盖了真实人物、卡通角色、雕塑乃至动物等对象，体现了其卓越的操控性和表现力。

跟随表情符号的特点功能

• 实时情绪匹配借助扩散模型技术，Follow-Your-Emoji可以精准地将预先设定或即时捕捉到的表情序列与固定参照面部图像同步，从而使得诸如眨眼、微笑和皱眉之类的复杂表情得以生动展现。
• 维持身份属性恒定于动画化的进程中，该系统精心构建了一套机制，旨在保持参照人物的核心辨识特点不变，并且即便是在面部表情大幅变动的情况下，亦能有效避免个人特征的扭曲或外泄。
• 运用丰富的面部表情来展示情感利用表情识别标记技术，该系统能捕获和重现极端的面部表情变化，比如类似卡通或漫画里的显著瞳孔放大与缩小效果，从而提升动画的表达能力。
• 适用于多种风格：除了适用于现实生活风格的人物画像外，Follow-Your-Emoji框架还能灵活应对并为各类艺术品如卡通形象、雕塑作品及动物肖像增添动态效果，充分展现了其广泛的应用范围。
• 时间的连续性借助细致的面部损耗函数，该系统在创建每一张画面时均注重了与相邻画面的一致性，从而保证整段动画能够在时间上实现平滑且自然的变化，并展现出流畅的效果。
• 长时间的动画创作通过运用逐步构建的方法，Follow-Your-Emoji能创造既保证短期流畅性又能在长时间展示时维持其稳定和优质视觉体验的动画内容。
• 严格管控性用户能够精细调节表情顺序，进而精准校准动画输出效果，支持依据个人要求打造独特的动画视觉体验，达成个性化的创意展现。

进入Follow-Your-Emoji的官方网站入口

• 官方网站地址：https://follow-your-emoji.github.io/
• 在arXiv平台上发布的一篇技术研究文章：https://arxiv.org/abs/2406.01900

遵循您的表情符号的技术机制

1. 利用扩散模型的架构基于先进的深度学习技术构建的扩散模型（如Stable Diffusion），具备生产高品质图像与视频的能力。
2. 情绪识别标记点（Emotion-Detecting Markers）通过运用MediaPipe等软件从动态影像中捕捉三维关键数据，并将其转换至二维空间内，生成可用于指导动画流程的面部表情指示标记。这些标记尤其侧重于脸部表情变化的关键部位，比如眼部（包括瞳孔位置）和口部区域，以确保更精准的表情同步效果。
3. 脸部细节损耗（Face Detailed Loss Function）采用一个创新的损失函数，利用脸部覆盖层及情绪覆盖层引导模型在训练时更聚焦于表情的细微特征。此损失函数经由评估预测值和实际值在特定掩模区域内的一致性差距，助力模型掌握精确识别复杂表情的能力。
4. 多种风格的兼容性该框架旨在兼容各种类型的肖像样式，包括真实人物、动漫角色、雕像及动物等，并能为其生成逼真的动态表现。
5. 逐步构建方法论为创建持续动画序列，采取了一种逐步细化的方法来生产内容；初始阶段构建核心画面，并随后利用插入法创作过渡画面，确保了动作流畅和场景稳定。
6. 时段聚焦技术在UNet架构里引入时间注意力机制，旨在维持动画序列间的时间一致性与运动流畅性。
7. 预先训练及后续调整通过大量表情训练数据对模型实施初步训练后，再根据具体的动画任务对其进行调整优化，从而增强模型的表现能力和精确度。
8. 构建数据集合标准参考体系该团队开发了EmojiBench评测标准，集合了具有多样风格与情感的表情视频画像，旨在测试及确认模型的效果。
9. 分析及动态图像创建于推断过程中，该系统利用表情识别关键点与时间注意机制来创造动态的人物画像，并确保维持参照图像的独特身份属性。
10. 用户管理和个性化设置用户能够通过输入各种表情序列来操纵动画的生成，从而达成个性化的视觉效果。