复旦与阿里等实验室共同研发的多视角扩散模型——MVGenMaster

MVGenMaster指的是什么

MVGenMaster是由复旦大学、阿里巴巴达摩院及湖潘实验室联合研发的一款多视角扩散算法，专注于通过强化三维先验来处理多样化的新型视图合成（NVS）任务。该算法依赖于对度量深度与相机姿态变形的三维预设的理解，从而改进了NVS的任务泛化能力和三维一致性。MVGenMaster具备从单个图像出发，在一次前向传播中生成高达一百种新视角的能力。研究团队还构建了一个包含160万个场景的大规模多视图影像数据集MvD-1M，并引入了一系列训练与模型优化策略，以提升算法在海量数据上的性能表现。

MVGenMaster的核心特性

• 多个视角的创建能够基于一张或多张参照图片创造出最多达一百种新的视角画面，适合应用于多种新颖视角合成（NVS）场景中，比如单一图像的新颖视角合成、两张图片间的视角过渡以及在不同参照和目标视角间实现自由变换的创新视图合成任务。
• 三维前置融合通过应用衡量深度与摄像头位置变形的三维前置条件，该模型确保了在二维扩散过程中三维结构的一致性。
• 适应性和广泛适用性该模型的设计具备灵活性，能够应对各种视角与环境的需求，并在多样化的情境中表现出优秀的适应性。
• 高效的正向流程在单一向前步骤中实现多个视角的创建，省去了繁琐的迭代推断及数据集的更新过程。
• 大型数据集合的支持利用MvD-1M数据集，该数据集涵盖了160万个场景，并且具有高度一致的测量深度。

MVGenMaster的核心技术机制

• 三维预先知识MVGenMaster通过测量深度信息与摄像机位置来构建三维预设，此三维预设用于引导模型产生新的视角，并保持三维结构的统一性。
• 形状变形利用几何变形函数，该模型能够将源自视图中的像素与标准坐标系进行转换，并将其失真至目标视图中。
• 多视角扩展模型（MDEM）：MVGenMaster运用了潜伏扩散模型（LDM）的技术，掌握了一种方法来根据参照图片及三维预设生成所需视角下的影像。
• 焦点机制该模型采用全面的注意力机制，在所有的参照与目标视角间捕捉详细的相机姿势表述。
• Plücker光线通过采用Plücker坐标系来描述摄像机的姿态，能够向系统精准地传达摄像机的具体方位与朝向数据。
• 核心比例调整方法为了应对极长序列的目标视角处理需求，MVGenMaster采用了关键技术——重新缩放方法，这不仅强化了参考视角的引导作用，还有效地解决了注意力分布不均的问题。

您可以访问MVGenMaster的仓库位置

• 官方网站建设项目https://mvgenmaster.github.io/alternative
• Git代码库：可在GitHub上找到名为MVGenMaster的项目，其仓库地址为https://github.com/ewrfcas/MVGenMaster。
• 关于arXiv上的科技学术文章在学术资源共享平台(arXiv)上可以找到编号为2411.16157的研究论文。

MVGenMaster的使用场合

• 电子游戏在视频游戏中应用以创造高品质的3D元素，增强游戏视觉的真实性和玩家的沉浸体验。
• 影片与视效特技在影片创作与视效设计领域里，构建精细的三维场景及特技效果能够有效降低真实拍摄环节以及后制处理阶段的开支。
• 模拟现实(VR)与强化现实(AR)在运用VR与AR技术时，创建出高度真实的三维场景，旨在让用户获得更为多彩且交互性强的感受。
• 三维模型构建与创意设计设计师利用2D图片构建三维模型，从而加快了产品研发与样机制作的进度。
• 建筑工程展示在建筑工程与都市规划领域内，协助设计师及策划者多视角展现设计方案，并实现更优的计划评审。