MMedAgent – 针对医疗卫生行业的多功能人工智能助手，统筹各类医疗工作

156 0 0

MMedAgent指的是什么？

MMedAgent是一款专为医疗服务设计的多模态人工智能系统，它集成了多种开放源代码的医疗软件来管理各类医疗作业。该系统配备了一个经过指令调优的大规模语言模型（MLLM），作为其任务规划和结果汇总的核心组件，并辅以一系列专门开发用于执行特定医疗职责的应用工具。MMedAgent能够处理诸如MRI、CT扫描及X射线等不同类型的医学图像数据，同时支持临床环境中各类信息的使用。通过解读用户的请求与分析医学影像资料，系统生成标准化命令来驱动所需的专业软件运行，并整合各应用反馈的信息以提供准确且详尽的答案给用户。相较于现有的开放源代码方案以及闭源模型GPT-4o，MMedAgent在多项医疗任务上展现出了更为卓越的性能表现。

MMedAgent的核心特性

多种模式的任务管理MMedAgent具备执行多种语言及多模态任务的能力，涵盖领域包含但不限于接地操作、区域划分、项目归类、医疗文档生成功能以及强化检索的生成技术。
医学成像辅助该系统兼容各类医疗影像技术，包括MRI、CT及X光等，以应对临床工作中出现的多样化数据需求。
整合及运用工具MMedAgent融合了多种工具，涉及七大典型的医疗服务项目，并能够依据用户的指示选取恰当的工具来执行任务。
指令精细调整MMedAgent利用生成的指示来修改数据集，并训练一个多模态的大规模语言模型（MLLM），该模型充当行动规划者，以解读和响应用户的命令。
汇总成果MLLM充当结果整合者的角色，它把工具产生的输出、用户给出的指令以及相关图像融合起来，形成最终的答案。
全程训练流程MMedAgent利用自回归目标对产生的序列实施端到端的培训，以保证模型能够恰当选用工具，并依据工具的结果来作答。

MMedAgent的核心技术机制

体系结构MMedAgent 包含两大核心组件：
- 一款经过指令优化的多功能大型语言模型（MLLM），担任行为策划者与成果整合者的角色。
- 专为代理人设计的一套医疗服务工具包，每项工具均专注于执行医学领域内的具体工作。
作业程序：MMedAgent的操作程序包含四个阶段：
- 用户提交了指导信息及医学影像。
- MLLM能够解析命令与图片信息，并创建结构化的指示来启动指定的工具功能。
- 运行工具并获取其输出。
- MLLM把工具产生的结果同用户的命令及图片融合起来，形成最后的答案。
指导精细调整MMedAgent利用一致的对话框架以保障它能有效地担任行动计划制定者与成果整合者的职责。在接受到用户的指令之后，MMedAgent会产出包含三部分内容的结果。
- 确认是否有使用外部门户工具的必要。
- API标识及其参数（即API的名字与相关参数设置）。
- 意义：通过多模态大规模模型集成的工具产出与自然语言反馈。
基于自我预测的目标学习过程MMedAgent利用自回归目标实现生成序列的全程训练，以保障模型能恰当运用各种工具，并依据这些工具产生的结果来作答。

MMedAgent项目的仓库位置

GitHub代码库：在GitHub上可以找到Wangyixinxin创建的MMedAgent项目，网址是https://github.com/Wangyixinxin/MMedAgent。
关于arXiv的技术文章本文探讨的内容可以在学术论文档案中找到，其在线地址为：https://arxiv.org/pdf/2407.02483，该文章详细阐述了相关的研究发现。

MMedAgent的使用情境

图像提问回答（IQR）MMedAgent具备解决涉及医学影像问题的能力，能够根据图像内容给出解答，并兼容包括MRI、CT扫描、X光片以及显微镜下的组织学和宏观病理学在内的多种成像类型。
归类作业利用BiomedCLIP工具，MMedAgent能够执行无需训练样本的精细医学影像分类任务。
确定与划分作业MMedAgent融合了Grounding DINO与MedSAM工具，应用于医学图像的定位及分割作业中，涵盖根据边界框指示进行的分割操作以及依据文本指导实现的分割功能。
医疗文档编制（MDP）借助ChatCAD软件，MMedAgent能够从胸部X光片中创建精确的医疗报告。
搜索强化创作（SIC）借助ChatCAD+工具，MMedAgent能够从外界的数据来源中提取最为相关的资料，从而助力医疗查询流程。
多模式医疗任务管理MMedAgent能够流畅地运用多种医疗工具，以应对涵盖不同成像模式的各类医学任务。