哈佛医学院发布的多模式全切片病理基本模型——TITAN

162 0 0

TITAN代表的是什么？

TITAN是由哈佛医学院的研究人员设计的一个多模态全切片病理基础模型，它借助视觉自监督学习及视觉-语言对齐的预训练技术，在不需微调或临床标注的前提下，能够提取通用组织样本表示并生成相应的病理报告。该模型基于335,645张完整的组织切片图像及其对应的病理描述，并融入了423,122条由多模态生成式AI合作伙伴创造的合成标题进行训练。TITAN在多项临床应用中展现了卓越性能，涵盖线性探测、少量样本和零样本分类任务、罕见癌症搜索以及跨模态检索与自动撰写病理报告等方面。

TITAN的核心特性

编制病理解析文档TITAN具备在资源受限的临床环境中，例如罕见疾病的搜索及癌症预后分析中，产生具有良好适应性的病理报告的能力。
多种任务的执行能力在执行包括线性检测、少量样例与无样例分类、稀有癌症搜索及多模式搜索在内的多种临床任务时，TITAN都表现出了卓越的能力，并且在病历文档生成方面也有出色的表现。
获取普遍的分片描述符TITAN具备生成可用于各种病理工作普遍适用的切片表述的能力，这为病理研究及临床检测提供了强大的支持工具。
查找相近的片段与文档说明TITAN于稀有癌症的搜索及跨模式搜索任务中展现了卓越性能，能够高效地查找相关的组织样本片段与病历报告，从而支持医疗专业人士作出更为精准的临床判断。
降低错误诊断率及观测者间的变异度TITAN于临床诊断程序中展现出巨大潜能，能够帮助病理专家与肿瘤医生寻找类似的组织样本及病例报告，从而降低错误诊断的风险并减小不同观测者之间的判断差异。

TITAN的核心技术机制

自我监督学习与图像文本匹配TITAN利用视觉自我监督学习及图像文本匹配技术完成初步训练，能够在不需调整参数或依赖医疗标记的情况下，生成具有广泛适用性的组织样本特征表达。
预先制定的培训方案TITAN的预先训练分为三个独特的步骤，旨在使最后产生的切片级表达能通过视觉与语言指导信息，同步把握ROI级别及WSIs级别的结构语义特征。
- 初期阶段（专注于视觉训练）通过使用一个称为Mass-340K的内部数据库进行了预先训练，此数据库涵盖了335,645个完整的组织切片图像以及182,862篇医疗记录文档。
- 第二阶段（兴趣区和生成的标题实现匹配）采用包含423,122个8K×8K兴趣区及相应由PathChat创造综合题目的数据集来预先训练TITANV，目的是让模型能够识别和理解区域级别的形态特征。
- 第三个阶段（实现完整图像切片与病理解读的精准匹配）通过对182,862组完整的切片图像和相应的病理报告进行额外的预训练，我们获得了终极版本的模型TITAN，该模型能够有效解析切片级别的复杂信息并提供高级别描述。
架构规划TITAN采用了视觉Transformer（ViT）的架构设计，其中切片编码器利用预先提取到的图像特征块，并以二维网格的形式排列这些特征来保持空间关联性。通过扩大图像块的大小，它能够有效地缩短输入序列的长度。对于全切片图像存在尺寸和形状不一致的问题，该系统采取了区域裁剪技术和数据增强策略来处理这些问题。
语言技能给予在CoCa的第二和第三阶段预训练过程中，通过将片段表达与合成标题及病历文档进行匹配对齐，并调整图像编码组件、文本编码单元以及多模式解码器，使该模型获得了语言处理的能力，如生成病理报告、实现零样本分类任务及执行跨模态搜索等。

TITAN项目的网址

GitHub代码库：可以在GitHub上的mahmoodlab组织找到TITAN项目。
HuggingFace的模型集合：访问Mahmood实验室的TITAN模型页面，请前往 https://huggingface.co/MahmoodLab/TITAN
关于arXiv的技术文章访问该链接可以获得最新的学术论文副本：https://arxiv.org/pdf/2411.19666，其中包含了详尽的研究内容。

TITAN的使用场合

病理解析与医疗实务TITAN利用视觉自我监督学习与图像文本匹配预训练技术，能够提炼出普遍适用的组织样本表达形式，并据此创建病理报告，从而在病理学术研究及医疗应用中提供更为高效的解决方案。
在医疗环境中存在的资源限制条件下的情形TITAN在资源受限的临床环境中尤为适用，例如在罕见病查找及癌症预测方面，能够创建具备广泛适应性的病理报告。
医疗诊疗操作程序TITAN能够帮助病理学家及肿瘤专家查找类似的组织样本与病历记录，从而降低诊断错误率并减小不同观察者的判断差异。
多种多样的临床工作事务TITAN在多项临床应用中展现了卓越性能，涵盖线性检测、少量及无样本分类、稀有癌症搜索与跨模式搜索，以及病历文本生成。
生成病理报告在资源有限的情形下，TITAN能够无须经过微调或依赖临床标签来创建出高质量的病理报告。
多模态搜索TITAN于稀有癌症的搜索及跨模式搜索任务中展现出色性能，能够高效地寻找类似的组织切片与病历报告，从而支持医疗专家做出更为精准的诊疗判断。