上海科技大学与多家机构合作开发的计算机辅助设计(CAD)模型创建系统——CAD-MLLM

CAD-MLLM指的是什么？

由上海科技大学、Transcengram、DeepSeek AI以及香港大学联合开发的CAD-MLLM是一款计算机辅助设计（CAD）模型生成系统。该系统能够依据用户的多种输入形式——包括文本描述、图像和点云等单一或组合方式，来创建参数化的CAD模型。其工作原理是通过命令序列与大型语言模型(LLMs)相结合的方法处理多模态数据，并最终构建完整的CAD模型。此外，CAD-MLLM还推出了一种大规模的多模态数据库——Omni-CAD，以及一系列新的评估标准，用于全面衡量生成模型在拓扑结构和表面封闭性方面的质量表现。此系统不仅展现出超越现有技术的能力，还在应对输入数据缺陷方面显示出了极高的稳定性。

CAD-MLLM的核心特性

• 多种数据类型输入的处理能够应对多样化的输入类型，如文字说明、图片及点云数据，并依据这些信息创建出CAD模型。
• 创建参数化的计算机辅助设计模型该系统具备创建可定制化CAD模型的功能，用户能够修改并优化这些产生的设计。
• 构造并标注数据集推出了一个叫做Omni-CAD的资料集合，其中涵盖了文字说明、多个视角的图片、点云数据以及相应的CAD指令序列。
• 评价标准的革新该系统采用了新型评价标准，用于衡量生成CAD模型的拓扑结构质量及表面闭合性。
• 稳定性在应对噪音问题及数据缺损方面展现出极强的稳健性。
• 互动式设计通过简易的指导与图表，用户能够便捷地创建CAD模型，使得没有专业知识的人也能够将设计理念变为现实。

CAD-MLLM的核心技术机制

• 指令序列的展示形式通过利用CAD模型中的指令系列，并将其转换为矢量形式，生成可供大规模语言模型(LM)训练使用的数据流。
• 多种类型的数据同步通过运用前沿的LLMs技术来协调各类模态的数据及CAD模型的矢量表现形式，使得该模型能够解析并操作多样的输入信息。
• 网络结构该网络结构由视觉数据同步、点云数据校准以及一个强大的语言处理单元组成，能够兼容多种类型的数据输入。
• 共用特征域初始阶段，非文本数据会经过固定编码器的处理，随后通过一个投影层使这些特征与大型语言模型中的共用特性空间相匹配。
• 适配低秩分解（LoRA）的精细调整通过结合提示工程和多种数据类型的嵌入方法，并利用低秩分解适配（LoRA）技术优化大型语言模型(LLM)，以创建精确的计算机辅助设计(CAD)模型。
• 提升数据多样性的技术手段提出了标注数据的处理步骤及扩展数据的技术手段，从而创建了全新的混合模式导向CAD数据库Omni-CAD。

CAD-MLLM项目的仓库位置

• 官方网站 проекта

  注：这里的翻译似乎出现了语言混用的情况，“官方网站项目的”更正为俄语的“проекта”，若需中文表述，请告知。正确的中文伪原创表达可能是：“官方页面”。如果您需要更多的改写版本或有其他偏好，请说明。：github.io/cad-mllm

• 关于技术的arXiv论文在该链接中展示的研究论文可以在如下地址找到：https://arxiv.org/pdf/2411.04954，此文献提供了深入的学术探讨。请注意，由于您请求仅输出改写后的结果且原文内容仅为一个指向研究论文的网址，上述表达方式有所不同但传达的信息一致。

CAD-MLLM的技术应用领域

• 制造业与产品设计设计师与工程师能够迅速创建并调整复杂工业产品的CAD模型，从而加快产品研发的进程。
• 建筑工程设计师与结构专家利用现场拍摄的照片或是地形信息来创建精准的CAD图稿，从而增强项目的策划与设计效能。
• 汽车制造业车辆生产商依据概念图纸或说明创建出精准的汽车组件CAD模型，从而改进设计方案并提升生产效率。
• 航空与航天领域在航空与航天行业中，根据复杂的设汁需求及性能指标创建飞机及太空飞行器组件和构造的CAD模型。
• 教育培训对于初学者和学生而言，减少学习难度并增强教育成效是至关重要的。