来自清华大学团队的开放源代码图像转3D模型 —— Unique3D

Unique3D代表的是什么

Unique3D是由清华大学团队开源的一款框架，用于将单张图片转化为三维模型。该框架利用多视角扩散算法和法线扩散技术，并配以高效的多层次上采样策略，能够快速从单一图像生成高精度且纹理丰富的3D网格结构。通过整合ISOMER算法，Unique3D进一步提升了其在几何形状与颜色一致性方面的表现力及精准度，整个转换过程只需花费大约半分钟时间。相比InstantMesh、CRM和OpenLRM等同类软件，Unique3D的图像转三维模型效果更胜一筹。

Unique3D的特点与功能

• 基于单一图片的三维模型构建：Unique3D具备从单一二维图片自动构建三维网格模型的能力，能将缺乏深度信息的平面图转变为拥有立体感的空间结构。
• 从多个角度生成视图该系统运用了多视角扩散技术来创建同一个对象的四个相互垂直视角的画面。这组画面通过多种角度描绘了对象的特点，从而为三维重构提供了详尽的角度数据。
• 生成法线映射Unique3D针对每个角度视图创建相应的法线贴图，这类贴图捕捉了物件表面的方向数据，在后期对3D模型进行渲染时极为关键。它们有助于仿真光照条件下的交互效果，进而提升模型的逼真度。
• 多层次清晰度增强利用多层次的上采样技术逐渐增强生成图片的解析度，由较低清的状态提升至高清状态（例如从256×256像素升级到2048×2048像素），从而使3D模型的表现更为细腻且富含细节。
• 结合几何与表面纹路的细节在进行重构时，Unique3D巧妙地融合了色彩数据与立体形态，以保证所创建的三维模型不仅忠实再现原二维图片的外观特征，还具备精细的空间构造及多样的表面质感。
• 高质量再现所创建的3D模型在形态、表面质地及色彩方面均与提供的2D图片极为吻合，在确保几何精确性和展现细腻纹理层次上均已符合高精度的要求。

访问Unique3D的官方网站入口

• 该项目的官方网站地址为：https://wukailu.github.io/Unique3D/
• Unique3D的源码托管于GitHub上，访问地址为：https://github.com/AiuniAI/Unique3D
• 网上演示试用：https://u45213-bcf9-ef67553e.westx.seetacloud.com:8443/
• 演示链接如下：https://huggingface.co/spaces/Wuvin/Unique3D
• 模型参数下载链接：https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
• 在arXiv平台上发布的一篇技术研究文章：https://arxiv.org/abs/2405.20343

Unique3D的核心技术机制

• 多元视角扩展模型借助扩散模型，可以从单一视角的图片出发，创造出多个角度（一般是四个垂直方向的角度）的新影像。这类模型经过训练后能够理解二维图像的特点，并将这种认知拓展至三维环境中，从而合成出从各种角度看去的样子各异的画面。
• 正交扩展算法在与多视角扩散模型的合作中，创建出每一张生成视图图像的相关法线贴图，其中蕴含了表面方向的关键数据，这对于接下来进行的三维重构工作是极其重要的。
• 多层次放大处理流程运用多层次放大方案逐渐增强生成图片的清晰度。最初创建的画面解析度相对较低，借助放大处理方法循序渐进地达到更高解析度的目标，从而展现更加细腻的图像细节。
• ISOMER网构复建方法一种高效的方法用于通过解析高清晰度的多个视角下的RGB图像及法线贴图来重构三维模型。此方法被称为ISOMER技术，涵盖以下内容：
  • 初步网格构建：迅速创建3D物体的大致形态及其起始框架。
  • 从粗略至精确的网格改良：经由反复的优化步骤，逐渐提升网格形态的质量，以更加贴近预期的目标外形。
  • 明确目标优化：通过为每一个节点设定特定的优化标准，解决了因视角差异引起的问题，并提升了几何精细度的精确性。
• 色彩与形状的预先知识融合在执行网格重构时，结合色彩数据与几何结构细节至生成的网格中，旨在增强所得到模型的真实感及精确度。
• 明确目标（ClearObjective）针对每一个节点设定一个优化准则，该准则是将节点集转换至色彩集的一个映射函数，旨在引导节点色彩的调整过程，以增强模型在不同视角下的一致性表现。
• 扩充规范化（Enlargement Normalization）这是一种用于优化过程的技术，它通过沿顶点法线方向调整顶点位置来防止表面凹陷，从而维持模型的整体性。
• 色彩填充技术为了完成对隐藏部分的色彩填充，采用了一种高效的方法，该方法能够将可视范围内的颜色自然扩散至非可视部分，从而保持整体模型色彩的统一和谐。