Meta 发布 Pippo – 单图像转换为多角度高清晰度人物视频的模型

Pippo指的是什么？

Meta Reality Labs最近发布了一款名为Pippo的图像转视频模型，该模型能够从单一图片源创建出1K分辨率下的高清晰度、全方位视图的人像视频片段。此技术依赖于一个多角度扩散转换器架构，并通过使用数十亿张人像图像进行了预训练，在此基础上又经过了对2500多张专业摄影棚采集的影像数据进行微调优化。其核心技术亮点在于ControlMLP组件，它负责精确施加像素级别的条件控制；同时采用了注意力偏差机制来确保在实际应用中生成的视角数量可以达到训练阶段所处理角度数目的五倍以上。此外，为了评估三维一致性的表现，引入了重投影误差作为衡量标准。

Pippo的核心特性

• 从多个角度创造利用单张全身或是脸部的照片，Pippo能够创建出多个角度的高清晰度视频，并且适用于整个身体、脸部或者头部图像的制作。
• 优质内容的快速创作借助多角度扩展转换技术，Pippo能够创造超出训练时视野五倍的视频材料。
• 提供高清显示支持Pippo率先在1K分辨率条件下达成了统一的多角度人物图像生成。
• 空间参考点及控制神经网络矩阵处理单元利用ControlMLP组件输入与像素对应的条件信息，例如Plücker光线和空间标记点，以达到更佳的三维一致效果。
• 自动填充详情当处理单目视频时，Pippo能够自动填充诸如鞋子、脸部和颈部等遗漏的部分。

Pippo的核心技术机制

• 分步培训方法需要提供具体的内容来进行伪原创改写，请给出相关内容。
  • 预先训练环节Pippo最初是在未经标记的30亿张人像图片上完成预训练，这些图片缺乏标注数据。
  • 培训过程中的中期环节于高水准的工作室数据集之中，该模型能够同步创建多角度的画面，并利用较低清晰度的视野来减少噪声问题，同时借助浅层次的MLP对目标摄像头实施大致编码。
  • 培训之后的阶段于高清模式中对有限视角实施降噪处理，并通过采用像素校准机制（例如利用空间标记与Plücker光线）来达成三维一致效果。
• 像素校准管理（调节 MLP 模块）Pippo利用ControlMLP组件嵌入了与像素对应的条件信息，比如Plücker光线和空间参考点，在模型训练过程中应用这些条件，并在推断时将它们锁定于特定的位置。
• 注意力转移技巧在推断过程中，Pippo引入了注意偏移技术，使模型能够生成的视角数量超过训练期间的数量五倍以上。
• 三维一致性的评价标准Pippo推出了一个优化过的衡量标准——重投影误差(Reprojection Error)，旨在检验通过多个视角构建的三维模型的一致性。

Pippo项目的网址

• 官方网站访问该网址可查看Yash Kant个人项目Pippo的详情页面。
• GitHub代码库：可在 GitHub 上找到由 Facebook Research 发布的 pippo 项目页面。
• 科技文章：访问该文档的网址为 https://yashkant.github.io/pippo/pippo.pdf

Pippo的使用场合

• 仿真技术中的虚拟环境(VR)与增強体验(AR)Pippo具备创造高水准多角度人物视频的能力，这些视频可以直接应用于VR与AR场景中的人物建模，增强用户的沉浸体验。
• 电影与电视节目创作在电影和电视节目后期处理时，利用Pippo可以高效创建多种视角的效果场景，从而节省拍摄预算与时间。
• 远程会议利用一张照片创建多种视角的视频，Pippo能够使远端参会者在视频会议中有更加自然的互动感受。
• 电子游戏创作利用Pippo可以创建游戏中人物的动作动画，增强游戏的画面表现力并加深玩家的游戏代入感。
• 社交平台与创意制作创作人员能够利用Pippo创建多种视角的视频，从而为社交网络平台增添更加多样化的内容。