加州理工学院研发的3D组件划分模型 —— Find3D

83 0 0

发现三维是指什么

Find3D是由加州理工学院开发的一款先进的三维部件分割模型，能够依据任何文本指令精准划分对象的不同部分。该模型利用一个高效的数据引擎从网络上的三维资源中自动收集训练数据，并通过对比学习技术对这一可扩展的三维架构进行训练优化。在包括Objaverse-General、ShapeNet-Part和PartNet-E在内的多个测试集上，Find3D展示了卓越的表现能力，其平均交并比（mIoU）相较于其他最佳方案提升了近三倍。此外，该模型还具备处理来自iPhone拍摄的照片及人工智能生成图像中野外三维构建的能力。

Discover3D的核心特性

三维开放环境的部分划分通过文本查询可以实现对任意物体及其各部位的辨识与划分，这一过程不受到既定部件集合范围的影响。
不必手动添加说明通过运用数据引擎自主地从网络中的三维资源创建训练资料，并且整个过程不需要人力标注。
卓越性能及广泛的适应性：于多种数据集测试中展现卓越性能，其平均交并比（mIoU）相较于第二优的方法提升了三倍。
迅速推论相比当前的基准，提速达6至300倍，大幅提升了推理效率。
稳定性在各种物体姿势及查询环境下维持一致的分割质量。
检索的灵活度提供多种文本查询的支持，涵盖各种细度级别及叙述方式的片段搜索。

Find3D的运作机制

数据分析平台需要提供具体的内容来进行伪原创改写，请给出相应的文本。
- 运用诸如SAM和Gemini之类的二维基本模型来对三维物体实现自动化标注。
- 把3D模型的不同视角渲染出来，并将这些视角的图像送入SAM以执行分割任务。
- 针对SAM提供的每一个遮罩，向Gemini发出请求以检索对应的部件名称，并构建（遮罩，文字描述）的组合。
- 把一些标识融入到图像与文本结合的基础模型（例如SigLIP）的隐藏嵌入区域里。
- 利用投影几何原理，把掩码逆向投射进三维点云内，生成由点和文本嵌入组成的配对。
模型的培训过程需要提供具体的内容来进行伪原创改写。没有给出具体内容的情况下，无法完成请求的任务。如果您有特定的段落或文本，请分享出来，我会在此基础上进行相应的处理。
- 采用Transformer架构的点云处理方案，视点云为一系列元素，并实施分块注意机制。
- 通过使用模型生成的点特征与文本嵌入之间的余弦相似度来进行任意格式文本的搜索。
- 通过采用对比学习方法来应对标签多重含义及不完全可视的问题，并能够在由数据引擎创建的信息基础上实现灵活扩展训练。
比较学习目的请提供需要改写的具体内容，以便于我能够帮助您完成任务。
- 处理每个数据点携带多标签的情况，以及因各遮罩仅涵盖部分视角而引发的未标注数据点问题。
- 通过采用对比学习的目标方法，使模型能够掌握稳健的特征表述，并在开放环境中达成精确的部分分割效果。

Discover the project location of Find3D

官方网站URLExceptiontaboola_link_end_pointer这里的”URLExceptiontaboola_link_end_pointer”是占位符，表示这里应有一个URL链接指向项目的官方网站。由于原始文本仅有“项目官网”四个字，并未提供具体网址或更多信息，因此在保持原意不变的前提下进行了上述扩展性改写以符合指令要求。如果不需要包含具体的链接信息，则可以简化为：“项目官方网站”。：github.io/ziqi-ma/find3dsite
Git存储库：访问此链接以查看 ziqi-ma 的 Find3D 项目 – https://github.com/ziqi-ma/Find3D
关于arXiv的技术文章在学术论文数据库中可以找到编号为2411.13550v1的文件，该文件位于https://arxiv.org/pdf/目录下。
网上试用演示版本访问此链接以查看项目：https://huggingface.co/spaces/ziqima/Find3D

应用场景介绍：Find3D

机器人的视觉和操控能力请提供需要改写的具体内容，以便我能够帮助您完成需求。于机器人技术范畴内，辅助机器人辨识并确定物件的具体部位，以实现精准地抓握、操控或互动。
模拟现实(VR)与强化现实(AR)请提供需要改写的具体内容，以便我能够帮助您完成需求。于VR/AR应用程序内，深化使用者对于虚拟物件的认知，并提升其与虚拟能量互动时的沉浸感受。
借助计算机的图形设计技术（CGD）由于提供的内容仅有冒号，并没有具体的信息或文本需要进行伪原创的改写，请提供详细的内容以便于我更好地帮助您。于CAD程序里，辅助设计人员迅速定位并修改三维模型中的具体区域，从而增强设计方案的工作效率。
制作电子游戏由于提供的内容为空，没有具体文字供我进行伪原创改写。如果您能提供具体的文本或段落，我很乐意帮您完成这项任务。请给出需要修改的文字内容吧！在游戏中设计更为复杂多样的3D对象互动体验，比如人物装备的变化或是物件破损的效果展示。
建筑工程由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有特定的文本或段落需要处理，请提供详细信息。这样我就能更好地帮助您完成任务了。于建筑设计与工程项目中，辅助解析及掌握繁复的三维构造细节，例如楼宇设计图样或是机械设备组件。