字节跳动发布的音控AI视频创作工具——Loopy

Loopy指的是什么

Loopy是字节跳动开发的一款音频驱动AI视频创作工具，允许用户让静态图片中的角色“活”起来。通过输入特定的音轨文件，照片中的人物能够实现面部表情与头部动作的同步变化，从而生成栩栩如生的动作视频片段。借助于其核心扩散模型技术框架，Loopy能够在无需任何额外空间标识或条件的情况下捕捉并学习长期动态特征，确保输出流畅自然的画面效果。该工具广泛适用于包括娱乐和教育在内的多个领域场景中。

Loopy的核心特性

• 声音驱动程序：Loopy以音频文件为输入源，自动创建能够与音轨同步的动态视觉效果。
• 脸部表情创造：创造包含嘴唇运动、眉形变化及眼部活动等脸部区域的真实动态效果，让静止的画面显得仿佛正在讲话一般。
• 不需要附加要求：不同于那些要求附加空间信号或特定条件的同类技术，Loopy能够自主生成视频，无需任何外部援助信息。
• 持久记录运动数据：Loopy能够有效地管理长时间的动态数据，从而产生更为自然与连贯的动作表现。
• 多样的展现形式：能够创建多样的动态表现，依据提供的音源特点，包括情绪与节拍等因素，来设计相匹配的脸部表情及头部姿态。

Loopy的工作机制

• 音频引导的模型Loopy的主要功能是一个由音频控制的视频创建系统，该系统能够依据提供的音讯信号制作出相应的、与声音保持一致性的活动图像。
• 传播模型Loopy采用扩散模型方法，通过对数据逐渐增加噪音，并训练系统反向去除噪音以创建新数据。
• 日期与时间组件Loopy开发了跨越不同序列段落及段落内的时间组件，使得该模型能够解析并应用长时间的动态数据，从而产生更为流畅一致的行为表现。
• 从声音信号转变为隐秘层次的过程Loopy利用音频至潜空间的组件，把音频信号转化为可操控面部表情的隐含形式。
• 生成运作基于音频中的特性及持续的动作数据，Loopy能够相应地创建脸部的各种表情动作，包括但不限于嘴巴形状的变化以及眉毛和眼睛的姿态调整。

Loopy项目的网址

• 用户体验产品即梦AI – 视频智能创作工具 – 语音同步技术
• 官方网站项目版块：访问此链接以查看相关内容 – https://loopyavatar.github.io/ 页面提供了丰富的资源和信息。
• 关于arXiv的技术文章访问此链接以查看最新的学术研究成果：https://arxiv.org/pdf/2409.02634，该论文提供了深入的理论分析和实验数据。

Loopy的使用情境

• 社交平台与休闲娱乐在社交媒体的图片或视频上加入动感特效，以提升其交互体验和趣味性。
• 影片与视像创作通过制作特效，使历史人物仿佛重生。
• 制作电子游戏创建更加自然且真实的面部表情与动作，以提升游戏中非玩家角色（NPC）的表现力。
• 虚拟现实与增强现实在VR或AR的体验里，创造更为逼真和身临其境的虚拟人物。
• 教育培训创作教学影片，模仿历史上著名人物发表演说或是再现科学研究中的实验流程。
• 宣传与推广制作引人注目的广告材料，增强其魅力并加深观众印象。