Oxford University与Meta AI合作发布的3D物体生成及重构平台——PartGen

PartGen代表的是什么？

PartGen是一款由牛津大学视觉几何小组与Meta AI联合开发的高级3D物体生成及重建系统。它具备识别并创建包含有意义组件的三维模型的能力，并能通过文本提示、图片或现有的三维模型来生成这些对象。利用多视角扩散算法，PartGen能够自动解析和复原物体各部分结构，同时确保部件间相互协调以维持整体性。此外，用户可以通过遵循特定的文字指导对3D物件进行分段编辑，这大大增强了建模过程中的操控性和创造性。

PartGen的核心特性

• 三维物体创建：创建包含有实际意义组件的三维物体，源自文字描述、图片或是已有的三维模型。
• 三维片段调整：根据用户的文字命令调整三维模型的具体区域，提升了操作的灵活度。
• 自动化分段处理：区分和分离三维物体的各个组件，以便于进一步处理。
• 三维重构：在完成了分段之后，接下来需要重构每一部分的三维架构。

PartGen的核心技术机制

• 多重视角扩展方法：利用多视角扩散模型来分析三维物体的不同视角时，该模型能够辨识并合理划分各个部分。
• 部分划分网络：构建一个能够分析多个视角图像的神经网络模型，并生成各个区域的分割标签。
• 局部实现的在线系统：利用多视角扩展技术来完成那些被遮掩或看不见区域的视觉补充。
• 三维重构技术：把完成的二维视图送入三维重建模型中，以复原各部位的三维架构。
• 背景信息综合：在填充与重构的过程中，该模型会全面考量整体的对象背景信息，以保证各个部分能够和谐统一地融合在一起。

PartGen的工程项目链接

• 官方网站项目：访问链接 https://github.com/silent-chen/PartGen 获取更多信息。
• 关于arXiv上的科技学术文章这篇论文的详情可以在链接 https://arxiv.org/pdf/2412.18608 中找到。

PartGen的使用情境

• 三维打印及生产PartGen创建的三维模型可以直接应用于3D打印过程，用于生产定制化的产品或组件。
• 制作电子游戏在游戏中创建拥有精细构造与丰富细节的资源，例如人物、装备及场景要素时能够迅速完成。
• 影片及动漫创作在电影及动画制作中构建三维模型与环境，旨在提升生产效能，并降低手工建模的需求。
• 模拟实境(VR)与扩增实境(AR)在使用VR或AR技术的应用程序里，创建出高度真实的三维物体以提升用户的体验感受。
• 教育和培养在制作教育素材时，构建诸如生物构造或机械设备部件之类的3D模型能够让学生更加直观地掌握复杂的知识理念。