阿里通义与中山大学等机构共同研发的开放式词汇目标识别模型 LLMDet

LLMDet指的是什么？

通义实验室、中山大学计算机科学与工程学院以及鹏城实验室联合开发了开放词汇目标检测器——LLMDet。该系统通过结合大型语言模型（LLM）进行协同训练来增强其性能。利用从包含图像及其定位标签和详尽的图片描述的数据集GroundingCap-1M中获取的信息，LLMDet借助由LLMs生成的详细文本描述来充实视觉特征，并采用常规的位置损失与描述生成损失来进行优化训练。在多种基准测试中，它展现了卓越的零样本检测能力。作为一款强大的视觉基础模型，LLMDet可以被用于构建更复杂的多模态系统，在此过程中促进其自身以及所协同使用的语言模型共同进步和发展。

LLMDet的核心作用

• 词汇开放性评估LLMDet具备识别训练过程中未曾接触过的各类对象的能力，通过将文本标签和视觉特性相匹配，从而能够辨识新的分类。
• 无样本适应能力在缺乏特定类别的标记信息时，该模型依然能够有效地将技能迁移至新数据集上，并表现出卓越的泛化性能。
• 图片解析及说明创作LLMDet能够创建详尽的图片级描述（标题），涵盖大量细节，例如物体类别、材质特征、色彩以及行为状态等，从而增强模型对图像的理解能力。
• 增强多元数据模型的效果作为一种基于视觉的初始框架，当它与先进的大規模語言モデル相融合时，能够创造出更为卓越的多功能型.mdl。这样的组合显著增强了.mdl在解答有关视觉的问题及生成图片说明等方面的能力。

LLMDet的核心技术机制

• 构造数据集合采用GroundingCap-1M数据集，该数据集中每一幅图片均附有精确的标注与详尽的图层面说明。这些说明富含细致的信息，有助于模型更深入地解析图片内的物体及它们之间的联系。
• 结构设计该系统结合了常规的开放式词汇目标探测组件与大型语言模型（LLM）。其中，探测组件的任务是识别图片中的对象并确定它们的位置，而LLM则利用所提取的对象信息来创建全面的图片概述及特定区域的相关描述。
• 合作学习：在实现与大型语言模型(LLM)协同优化的过程中，LLMDet采用了分阶段的培训策略。首先，通过训练一个转换模块（即投影器），将检测器提取到的特征转化为适合输入至LLM的空间表示形式。接下来，在整体微调步骤中结合使用了该检测器、上述转换模块以及语言模型，并设定目标函数为常规的位置误差和描述生成误差的综合考量指标。
• 多种任务并行训练通过整合图像级与区域级的描述生成任务，LLMDet致力于创建详尽的文字说明以增强其视觉元素的理解深度，并进一步优化了整体图片解析效果。采用多种任务并行的学习方法不仅改善了识别精度，还扩大了模型对各类词汇的应用能力。

LLMDet项目的仓库位置

• Git代码库访问此链接以查看iSEE实验室的LLMDet项目：https://github.com/iSEE-Laboratory/LLMDet
• 关于技术的arXiv学术文章访问该论文的PDF版本，请点击这里：https://arxiv.org/pdf/2501.18954

  （注：由于提供的内容仅为一个指向学术论文的链接，本身没有可改写的文字描述内容，因此保持了链接形式和引导语的基本结构不变。）

LLMDet的使用情境

• 智慧安全防护能够识别摄像画面中出现的不寻常对象或活动，并具备高度灵活性，无需经过再培训。
• 自动驾驶技术辅助车辆辨识路面上的各种障碍及新颖情境，增强行驶的安全与稳定。
• 图片审查评估对图像内容实施自动化审查，精准辨识不适宜或违规元素，从而大幅提升审查工作的效能。
• 智能化照片整理服务能够自动对图片进行归类与标记，便于用户的检索及管理，并且兼容各种未曾遇到过的分类。
• 医学图像解析对医学图像进行解析，迅速定位不正常区域，并且不需要大量的标记资料。