Byte与北京交通大学共同发布的端到端唇形对齐开源架构LatentSync

LatentSync指的是什么

LatentSync是由字节跳动和北京交通大学共同开发的一种端到端的唇形对齐框架，它采用了一种基于音频条件下的潜在扩散模型，在整个过程中不需要任何中间3D表示或2D特征点的支持。该系统利用Stable Diffusion的强大生成能力来捕捉复杂的视听关联，并生成具有高度真实感的动态说话视频。为了克服帧间扩散过程不一致所带来的时间一致性问题，LatentSync引入了Temporal REPresentation Alignment (TREPA)技术，通过大规模自监督视频模型提取时间特征表示，从而提升了合成帧与实际帧之间的时间连贯性，并且保证唇形同步的精确度。此外，在经过综合实验研究的基础上，LatentSync还改进了解决方案以克服SyncNet中的收敛难题，并进一步提高了唇形对齐技术的整体准确率。

LatentSync的核心特性

• 口型匹配制作依据提供的音源，创建相应的口型动作，使视频内人物的嘴部活动能够跟随声音的变化而变化，非常适合用于配音及虚拟角色的表现之中。
• 创建高清视频内容制作高清视频，解决传统扩散模型于像素层面操作时对设备性能需求过高的问题。
• 生动真实的呈现效果所创建的视频展现了高度真实的动态效果，能够精准地反映出与情绪声调相匹配的小表情变化，使人物对话显得更为鲜活和真实。
• 提升时间的一致性采用Temporal Representation Alignment (TREPA)技术，增强生成视频的时序连贯性，降低画面闪动情况，使播放体验更为平滑。

LatentSync的核心技术机制

• 基于音频条件的隐式扩散模型利用音频作为基础，在不通过像素空间传播或分两个步骤生成的情况下，借助潜变量扩散模型直接在潜变量空间中构建模型。这种潜变量扩散方法能够更有效地识别音频和视觉元素间的精细联系，并产生高度匹配的口型同步视频。
• 全链路架构采用端到端的架构设计，该系统整合了音频特性抽取、隐含表达构建及口型对齐生产等多个环节于单一模型内，从而减少了中间处理阶段，并显著提升了产出效率与精准度。
• 时间表示对齐(TERA)提出了TREPA技术，该技术利用大型自监督视频模型VideoMAE-v2来获取时间特征表达，并通过比较生成的连续帧与实际连续帧之间的时间特征差异作为附加损失函数，以此提升所产生视频内容在时间上的一致性。
• 基于SyncNet的监管于训练期间，采用预先训练好的SyncNet来监控产生的视频内容，以保证其具备优秀的口型同步质量。通过在像素层面上融入SyncNet的损失函数，促使模型更精准地掌握声音信号与嘴部动作间的匹配规律。

LatentSync的项目位置

• Git代码库：访问ByteDance的LatentSync项目页面: https://github.com/bytedance/LatentSync
• 关于arXiv的技术文章该链接指向一篇可在ArXiv数据库中获取的学术论文的PDF版本，具体地址为https://arxiv.org/pdf/2412.09262。

LatentSync的使用情境

• 电影与电视节目后期处理于影片配音过程中，依据提供的语音文件自动创建相应的口型动画，此举不仅提升了生产速率，还确保了角色外观的一致性。
• 教育培训行业在网上的英语教学课程里，老师会把声音转化为与口型匹配的视频，以此来辅助学生们更加精准地掌握发音技巧。
• 制作宣传短片在汽车广告中，通过创建与虚拟代言人嘴型匹配的视频来使广告语听起来更加自然流畅，从而提升广告的整体吸引力。
• 在线会议在国际远程会议中即时创建口型匹配的视频流，以克服因互联网延时引发的声音与画面不同步的问题，从而增强交流体验。
• 制作电子游戏在RPG游戏中，实现NPC讲话时口型与声音的同步匹配，能够显著提升玩家的沉浸式感受及角色交流的真实度。