南大携手Apple与港科大发布的集成式影像测量系统——Matrix3D

Matrix3D指的是什么？

南京大学、苹果公司与香港科技大学共同研发了一款名为 Matrix3D 的先进统一摄影测量模型，该模型能够在一个系统内执行多种摄影测量任务，涵盖姿态估算、深度预测以及新视角合成等多个方面。Matrix3D 模型的关键组件是多模态扩散变换器（DiT），它通过综合图像数据、相机参数和深度图等不同类型的输入信息来实现灵活的任务处理能力。在训练过程中，采用了掩码学习策略，使得即使面对部分数据缺失的情况，仍能够利用诸如图像-姿态或图像-深度配对的双模态数据进行全模态的学习与训练，极大地扩展了可用的数据资源库。此外，Matrix3D 还支持多轮交互操作模式，在此模式下用户可以通过逐步输入信息来提升生成结果的质量，在三维内容创作方面展现出极高的灵活性和适应性。

Matrix3D的核心作用

• 姿势估算(Pose Estimation)能够基于较少视点的影像估算摄像机的姿态，并在影像间重合区域较小的情形下，精准地判断摄像机之间的相对位姿与朝向。
• 深度估计（Estimation of Depth）能够基于单一或多个视角的图片来估算出高品质的深度地图。该系统具备利用几幅图像创建深度数据的能力，适用于之后进行三维重建的工作。
• 创新视角渲染（Innovative View Rendering）可以依据提供的图片创建具有各种姿势的全新视觉画面。该功能允许用户通过单一或多个图片来源来组合出不同的观察角度。
• 三维建模（3D Modeling）利用姿态估算、深度预估及新型视角渲染的技术成果，Matrix3D能够实现基于单一或多幅图片的三维重构任务。当该技术与三维高斯散射(3DGS)优化方法相融合时，可进一步产出高品质的三维点群数据。
• 多种任务的互动及适应性调整能力Matrix3D具备高度可调的输入与输出设置能力，能够依据用户的指示智能地修改任务参数。
• 遮罩训练及资料应用借助于掩码学习的方法，Matrix3D能够利用不完全的数据集来进行培训，这大幅扩展了可用于训练的数据量，并增强了模型的应用广度和适应性。

三维矩阵技术的工作机制

• 多种模式扩散转换器Matrix3D 采用扩散变换器结构，可以管理包括 RGB 图像、摄像头位置信息及深度图像在内的多类型数据，并将这些数据转换成统一的二维形式，从而完成不同数据模式间的特性整合与创造。
• 遮罩训练方法该模型通过运用遮盖技术来培训，在此过程中会对输入的数据实施随机遮盖操作，从而掌握如何从带有噪声的信息中重建清晰的结果。它具备应对部分缺失输入的能力，并大幅提升了可用于训练的数据规模。
• 一致的概率框架Matrix3D 依托一致性的概率框架，凭借其可变的输入与输出设置，能够适应不同的工作负载要求，并且涵盖了包括姿态评估、距离预估以及生成新的视觉视角在内的多种摄影测量作业的支持。
• 三维高斯喷射改进生成的深度地图与新的视角图像可用于启动3D高斯散射（3DGS）优化过程，以达成高品质的三维点云重构。
• 数据标准化利用场景标准化与相机校准技术，Matrix3D 可以应对多个数据集中的多样分布问题，保证各种类型的数据能够在一致的比例尺和坐标系统中被处理。

Matrix3D的工程链接

• 官方网站建设项目访问该页面以查看南京大学三维矩阵项目详情：https://nju-3dv.github.io/projects/matrix3d/
• arXiv科技文章在学术论文数据库中可以找到编号为2502.07685的文档。

Matrix3D的使用情境

• 虚拟实境(VR)与扩增实境(AR)Matrix3D 能够利用有限的二维图片创建出高清晰度的新型视角与深度数据，从而为虚拟现实及增强现实应用构建详尽的三维环境和物件模型。
• 制作电子游戏利用 Matrix3D，可以迅速构建出详尽的三维场景与物件形态数据，助力游戏设计者能够依据构思草图或是几幅参考资料高效地在他们的游戏中建立起精美的三维模型。
• 电影与电视节目创作利用 Matrix3D，可以从有限数量的二维图片中构建出完整的三维场景，这极大地方便了后续的视觉效果处理及虚拟摄像工作。
• 建筑创作利用 Matrix3D，可以从建筑设计图或是几幅照片出发创建出三维建筑模型，这极大地助力了设计师们能够迅速完成设计方案的验证，并向客户呈现效果。
• 在线试衣体验Matrix3D 可以创建用户的三维身形模型，适用于虚拟环境中尝试穿着不同的衣服和配件。