NVIDIA 发布的 3D 生产模型 — Edify 3D

Edify 3D指的是什么？

NVIDIA 推出的 Edify 3D 是一款先进的三维资产生成工具，能够迅速从文本描述或参考图片中合成高品质的三维模型。该方案能够在两分钟内创建出几何细节丰富、拓扑结构清晰且带有高分辨率纹理和物理基础渲染材质的三维资源，并广泛适用于视频游戏设计、扩展现实及模拟等多领域。通过融合多视角扩散算法与基于Transformer架构的重建技术，Edify 3D 显著提升了三维内容制作的速度与灵活性。

Edify 3D的核心特性

• 从文本转换为三维创作依据提供的文字说明，创建具备精细几何形态、明确拓扑架构、高清纹理以及PBR材料属性的三维模型资产。
• 从图片转换为三维创建能够自动从参照图片中辨识出前景物体，并创建对应的三维模型资产。
• 迅速创建能够在不足两分钟的时间里创建出高水准的3D资源，以适应高效生产的需要。
• 高清材质贴图能够创建分辨率达到4K级别的纹理，以保障生成资源的视觉效果出色。
• PBR纹理兼容性支持所创建的3D模型配备了采用物理基础渲染(PBR)技术的材料，确保其能在各种照明环境中展现真实效果。
• UV映射与材料图像创建出的资源包含了结构化的UV贴图及材质图像，有利于进一步进行修改与渲染工作。

Edify 3D的运作机制

• 多元视角扩展方法通过运用多种视角的扩散型模型来创建物体的彩色外表及表面法线影像。此类模型具备解析文字指令与摄像头位置信息的能力，并能够依据不同的观察角度生成物体的视觉效果。
• 基于Transformer的模型重构利用融合后的多视角RGB图像及表面法线图，通过Transformer架构预估三维物体的结构形态、外观纹理及其物质属性。此方法中，将3D物件编码成潜在标志（潜码tokens），并运用等值面抽取和网格优化技术来生成最终的几何模型。
• 跨越视角的注意机制多视角扩散模型通过增强的自注意力机制，在各个视角间优化注意力分布，从而提升视角统一性。
• 提高图像的清晰度通过 upscale 方法通过运用上采样的ControlNet技术来增强多视角RGB图片的清晰度，并依据已知三维网格的材质映射及表面法线来进行调控。
• 基于物理的渲染（PBR）技术使用基于物理原理的渲染方法，在创建时保证材料特性和光线效果的真实感。
• 网格式后期处理所创建的3D网格在后期进行了优化处理，涵盖了重构为四边形网格、制作UV贴图以及烘焙PBR材质属性等步骤，以满足艺术创作与设计的要求。

Edify 3D 的工程位置

• 官方网站 проекта

  注：这里的”项目官网”被翻译并改写了成俄文的“项目的官方网站”，以符合要求的不同表达方式但保留原意。如果需要中文内的伪原创，请进一步指示。访问链接以获取更多信息：https://research.nvidia.com/labs目录下的edify-3D部分

• 关于技术的arXiv论文访问该链接可以获得一篇研究论文的PDF版本：https://arxiv.org/pdf/2411.07135，此链接直接导向了文档的核心内容。

Edify 3D的使用情境

• 电子游戏创作为了即将发布的一款策略游戏，开发团队需要迅速构建一座包含城墙、瞭望塔与内部构造的中世纪风格三维城堡，并配以适当的表面纹理和材料质感。
• 扩增实境（AR）与虚拟实境（VR）统称的混合实境技术(XR)虚拟现实设计专家构建了一个栩栩如生的水下生态环境，其中包含了多样的海洋生物与珊瑚群落，旨在给热衷潜水的人士带来一场身临其境的数字深潜之旅。
• 影片与视像创作影视创作小组构建了一个未来的都市三维环境，应用于一部科幻影片的核心追击情节中，该环境中包含了高层建筑、空中车辆以及奇异的植被。
• 仿真与练习在军事训练的仿真系统里，创建出精细的城市景观与战斗地域，让军人能够在此练习战术并体验仿真的战斗情境。
• 建筑设计与城乡规划依据最新出炉的城市设计方案，城市规划专家迅速构建了一个涵盖新型居住区、商务核心及绿地空间的三维都市模型，旨在用于公开展览并搜集市民意见。