苹果发布Depth Pro —— 一款从二维图片创建三维深度图的开放源代码模型

Depth Pro指的是什么？

Apple公司研发的Depth Pro是一款高性能的单目深度估算技术，能够迅速从单一2D影像中创建出高分辨率的三维深度图。此模型不仅运算速度快，只需0.3秒就能完成处理，并且提供具有真实世界尺寸比例的精确度量级深度信息。它无需依赖如焦距等相机内部参数，因而拥有广泛的适用性。Depth Pro在细节捕捉方面表现尤为突出，能够清晰呈现头发和植被这类精细结构的边缘特征。该技术具备零样本学习的能力，在未经过特定领域数据训练的情况下仍能实现准确预测。因此，Depth Pro为增强现实、三维重建以及图像编辑等多个应用方向提供了广阔的发展空间。

Depth Pro的核心特性

• 深度估计的零样本测量方法Depth Pro能够在缺乏镜头内部参数信息（例如焦距）的情形下，利用单一二维图片来创建具备实际尺寸比例的深度地图。
• 高质量图像显示该模型能够创建分辨率高达2.25百万像素的深度图像，呈现出详尽的细节。
• 迅速解决使用标准GPU时，Depth Pro能在0.3秒内完成深度图像的生成，非常适合实时应用场景。
• 细微之处的把握尤其善于识别精细的细节，比如头发和植物，并增强边缘的锐利度。

Depth Pro的工作机制

• 多层次视觉转换器（Vision Transformer）Depth Pro依托于一种高效的多尺度视觉变压器架构，在精准辨识高分辨率细节特征的同时，亦能把握整个图像的背景信息。
• 复合训练方案通过融合实际与人工生成的数据集来训练模型，以达到精准测量及精细边缘跟踪的效果。
• 特定边界的精确性评估指标构建新型衡量指标，利用高精度剪切图像的数据集合来评价深度图像边缘跟踪精确性的方法。
• 估算焦距Depth Pro在零样本条件下的焦距估算方面表现出色，能够精准地从单一图片中推测出焦距信息。
• 培训方案采取了一种分两个步骤的培训方案，第一步的目标是掌握能够适应多个领域的一般性稳健特性，而在第二步中，则着重于增强边缘清晰度和凸显预测深度图像里的微小特征。

Depth Pro的工程链接

• Git存储库：在GitHub上可以找到苹果公司的项目页面，其网址是https://github.com/apple/ml-depth-pro，这里展示了他们相关的深度学习研究工作。
• 关于arXiv的技术文章该论文的预印本可以在网址 https://arxiv.org/pdf/2410.02073v1 中找到。

Depth Pro的使用场合

• 提升现实体验（AR）于AR软件里，Depth Pro能精准定位虚幻物件置于实际环境的恰切之处，从而营造出更为逼真与身临其境的用户感受。
• 三维重构利用Depth Pro创建的深度图像，能够从单一的二维照片中复原成三维模型，在建筑设计、文化遗产保护及游戏开发等行业展现出极大的应用价值。
• 图片处理Depth Pro 在图片处理应用里助力用户更加精准地掌握画面的纵深细节，实现更为精致的操作体验，包括创建虚化背景效果、划分图片区域以及精确提取目标物体等功能。
• 自动化引导系统于机器人视觉技术之中，Depth Pro贡献了精准的深度数据，助力机器对人体察周边情境，并达成更加准确的地势导航与障碍规避功能。
• 自动驾乘系统于自动驾驶系统内，Depth Pro持续创建周边环境的深度图像，助力车辆更精准地掌握自身道路定位及与邻近障碍物间的距离。
• 虚拟实境（VR）技术在运用VR技术时，Depth Pro助力构建更为逼真的虚拟场景，并带来更直观的互动感受。