上海AI实验室携手多家学术与研究机构共同开发的视觉语义辅助工具 SlideChat

SlideChat指的是什么？

由上海AI实验室、厦门大学及华东师范大学联合研发的SlideChat是首个能够解读千兆像素级别全切片图像的视觉语言交互助手。该系统具备生成详实全切片图像描述的能力，并能在各种病理场景中提供高度关联上下文的复杂指令反馈。经过训练，SlideChat在显微镜检查和诊断等多项临床任务上表现优异。它依赖于大规模多模态指令数据集SlideInstruction以及评估标准SlideBench进行优化，其中 SlideBench包括多个子集，涉及21种不同的临床应用场景。

SlideChat的核心特性

• 全面解析图片意义解析并诠释具有千兆像素分辨率的完整切片病理影像（WSIs），实现对其详尽无遗的剖析与解读。
• 具备多种形态的交流技能能够与用户开展多种形式的交流互动，解析用户的日常言语指示，并融合视觉元素来作出回应。
• 处理复杂的命令反应处理并落实与复杂视觉分析及病理学有关的指示。
• 涵盖临床工作范围于多样化的医疗场景内，包括显微观察与疾病鉴定等方面，均呈现了杰出的表现力，并涵括了总计21项独特的医疗作业。

SlideChat的工作机制

• 图片划分为了方便计算处理，将完整的图像切割为若干个尺寸为224×224像素的片段（patch）。
• 区域编码器各个图片区域通过局部编码器转化为视觉嵌入形式，以捕捉其局部特性。
• 演示文稿层级的编码器通过使用幻灯片级别的编码器来加工局部编码器的结果，从而创建出富含整体背景信息的嵌入式上下文。
• 多种形态投射：多模式投影装置把视觉特性转换至一个能与大规模语言处理系统相兼容的一致性维度中。
• 分步式培训流程由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有特定的文本或段落需要处理，请提供详细信息。这样我就能更好地帮助您完成任务了。
  • 跨越界限的协同于初期阶段，该模型致力于使大规模语言模型的词汇嵌入与来自弱监督图像中的视觉特性相匹配。
  • 视像指导学习在第二个阶段中，该模型专注于掌握对具体针对WSI领域的疑问作出精确回答的能力。

SlideChat项目的网址

• 官方网站项目的入口访问 SlideChat 的 GitHub 页面，请前往 uni-medical 旗下的此链接：https://uni-medical.github.io/SlideChat.github.io
• HuggingFace的模型集合访问此链接以查看由Hugging Face托管的医学人工智能数据集SlideBench：https://huggingface.co/datasets/General-Medical-AI/SlideBench
• arXiv科技文章在学术资源共享平台ArXiv上有一篇论文，其在线地址为：https://arxiv.org/pdf/2410.11761，该文档包含了详尽的研究内容。

SlideChat的使用情境

• 协助病理诊断支持病理专家解析及阐释完整的组织切片影像，助力于各类疾病的判定工作，特别是针对如癌症之类的重大病变情况。
• 教育培训在医疗教育培训里，用作辅助教材，助力学员与实习医生掌握病理切片的分析技巧，增强其诊断能力。
• 研发工作科研人员正在寻找新型的生物指标，以实现对疾病的细分类型识别，并且能够预见病情的发展趋势以及患者的治疗效果。
• 医疗决定辅助系统融入临床操作流程，实现即时病理解析，助力医师提升诊疗判断的精准度。
• 品质管控与规范制定在病理科的实验室内，为保证诊断结果的一致性与精确度，通过采用自动化的数据分析来降低由人工引起的误差。