腾讯开放的StereoCrafter框架 —— 将普通二维视频转换成三维立体视效工具

StereoCrafter指的是什么

腾讯AI Lab与ARC Lab联手打造了创新工具StereoCrafter，该工具能够把单一视角（2D）影片转换成立体3D影片，以应对市场上对高质量3D内容不断增长的需求。通过深度预测、视频投影和立体影像修复这三个关键环节，StereoCrafter实现了从二维到三维的高精度转换过程。它采用了经过预先训练并稳定的视频扩散模型作为基础，并针对具体的立体影像恢复任务进行了调整优化，从而能够适应各种时长与清晰度的影片输入需求。这项技术的发展提升了观众在观看数字内容时的真实感和沉浸体验，为未来多媒体应用开辟了新的可能性。

StereoCrafter的核心特性

• 从二维到三维的视频变换把单一视角的二维影像转变为具有深度感的三维影片，兼容各类展示装置，包括3D视觉装备与Apple Vision Pro头戴显示器。
• 高质量生成运用深度学习方法，保障所创建的视频既具备高清晰度又具有一致性，以适应当前3D展示装置的标准要求。
• 三维测量估测通过运用高级的深度估算技术，提取输入视频中的深度数据，以供进一步处理使用。
• 视频涂抹效果通过运用深度图像技术对视频实施形变操作，创建右侧视角的画面，并从中分离出遮罩信息以优化处理被遮蔽的影像部分。
• 三维影像恢复在完成变形处理后的视频中补全空白部分，以保证最后制作出的三维视频既完整又显得自然流畅。

StereoCrafter的工作机制

• 估算深度利用先进的深度预测算法（例如DepthCrafter）从单一视角的视频流中生成深度图像。
• 视频溅射效果利用深度图像技术，把左侧视角的视频转换到右侧视角，并创建一个遮罩来管理视频内的遮挡问题。
• 三维影像恢复通过应用产生的遮挡蒙版，并利用立体视频恢复方法填充经过变换处理的影像中缺失的部分，从而创建出完整的右侧视角影片。
• 数据分析作业流程创建一个高品质的数据集合以辅助模型的学习过程，保证产出的高度真实性和稳定性。

StereoCrafter项目的网址

• 官方网站项目https://github.com/stereocrafter
• Git代码库：访问该立体视觉项目仓库，请参见 https://github.com/TencentARC/StereoCrafter
• HuggingFace的模型集合库访问此链接以查看TencentARC开发的立体图像处理模型StereoCrafter：https://huggingface.co/TencentARC/StereoCrafter
• arXiv科技文章访问该链接可以获得最新的研究论文：https://arxiv.org/pdf/2409.07447，其中包含了深入的学术内容。

StereoCrafter的使用场合

• 电影与电视节目创作于影片与连续剧创作过程中，把常规的二维影像资料升级成三维立体形式，旨在给观众带来更加身临其境的感受，并大幅提升视觉冲击力。
• 虚拟实境（VR）与扩增实境（AR）在虚拟现实与增强现实的应用里，通过把单一视角的视频转变为适用于VR眼镜及AR装置的三维内容，增强了用户体验的真实感受和交互体验。
• 视频游戏创作为了提升游戏的视觉效果并增强吸引力，开发人员会把2D的游戏影像升级成三维形式。
• 网络学习于在线教育的平台上，把教学视频转化为3D形式，使得学习材料更加引人入胜，并有助于学生们更清晰地掌握复杂的知识点。
• 市场推广与广告宣传为了增加广告的视觉效果及对观众的吸引程度，并进一步加强消费者对其的记忆与购买兴趣，该品牌将其广告影片升级成了立体三维版本。