TITAN代表的是什么?
TITAN是由哈佛医学院的研究人员设计的一个多模态全切片病理基础模型,它借助视觉自监督学习及视觉-语言对齐的预训练技术,在不需微调或临床标注的前提下,能够提取通用组织样本表示并生成相应的病理报告。该模型基于335,645张完整的组织切片图像及其对应的病理描述,并融入了423,122条由多模态生成式AI合作伙伴创造的合成标题进行训练。TITAN在多项临床应用中展现了卓越性能,涵盖线性探测、少量样本和零样本分类任务、罕见癌症搜索以及跨模态检索与自动撰写病理报告等方面。
TITAN的核心特性
- 编制病理解析文档TITAN具备在资源受限的临床环境中,例如罕见疾病的搜索及癌症预后分析中,产生具有良好适应性的病理报告的能力。
- 多种任务的执行能力在执行包括线性检测、少量样例与无样例分类、稀有癌症搜索及多模式搜索在内的多种临床任务时,TITAN都表现出了卓越的能力,并且在病历文档生成方面也有出色的表现。
- 获取普遍的分片描述符TITAN具备生成可用于各种病理工作普遍适用的切片表述的能力,这为病理研究及临床检测提供了强大的支持工具。
- 查找相近的片段与文档说明TITAN于稀有癌症的搜索及跨模式搜索任务中展现了卓越性能,能够高效地查找相关的组织样本片段与病历报告,从而支持医疗专业人士作出更为精准的临床判断。
- 降低错误诊断率及观测者间的变异度TITAN于临床诊断程序中展现出巨大潜能,能够帮助病理专家与肿瘤医生寻找类似的组织样本及病例报告,从而降低错误诊断的风险并减小不同观测者之间的判断差异。
TITAN的核心技术机制
- 自我监督学习与图像文本匹配TITAN利用视觉自我监督学习及图像文本匹配技术完成初步训练,能够在不需调整参数或依赖医疗标记的情况下,生成具有广泛适用性的组织样本特征表达。
- 预先制定的培训方案TITAN的预先训练分为三个独特的步骤,旨在使最后产生的切片级表达能通过视觉与语言指导信息,同步把握ROI级别及WSIs级别的结构语义特征。
- 初期阶段(专注于视觉训练)通过使用一个称为Mass-340K的内部数据库进行了预先训练,此数据库涵盖了335,645个完整的组织切片图像以及182,862篇医疗记录文档。
- 第二阶段(兴趣区和生成的标题实现匹配)采用包含423,122个8K×8K兴趣区及相应由PathChat创造综合题目的数据集来预先训练TITANV,目的是让模型能够识别和理解区域级别的形态特征。
- 第三个阶段(实现完整图像切片与病理解读的精准匹配)通过对182,862组完整的切片图像和相应的病理报告进行额外的预训练,我们获得了终极版本的模型TITAN,该模型能够有效解析切片级别的复杂信息并提供高级别描述。
- 架构规划TITAN采用了视觉Transformer(ViT)的架构设计,其中切片编码器利用预先提取到的图像特征块,并以二维网格的形式排列这些特征来保持空间关联性。通过扩大图像块的大小,它能够有效地缩短输入序列的长度。对于全切片图像存在尺寸和形状不一致的问题,该系统采取了区域裁剪技术和数据增强策略来处理这些问题。
- 语言技能给予在CoCa的第二和第三阶段预训练过程中,通过将片段表达与合成标题及病历文档进行匹配对齐,并调整图像编码组件、文本编码单元以及多模式解码器,使该模型获得了语言处理的能力,如生成病理报告、实现零样本分类任务及执行跨模态搜索等。
TITAN项目的网址
- GitHub代码库:可以在GitHub上的mahmoodlab组织找到TITAN项目。
- HuggingFace的模型集合:访问Mahmood实验室的TITAN模型页面,请前往 https://huggingface.co/MahmoodLab/TITAN
- 关于arXiv的技术文章访问该链接可以获得最新的学术论文副本:https://arxiv.org/pdf/2411.19666,其中包含了详尽的研究内容。
TITAN的使用场合
- 病理解析与医疗实务TITAN利用视觉自我监督学习与图像文本匹配预训练技术,能够提炼出普遍适用的组织样本表达形式,并据此创建病理报告,从而在病理学术研究及医疗应用中提供更为高效的解决方案。
- 在医疗环境中存在的资源限制条件下的情形TITAN在资源受限的临床环境中尤为适用,例如在罕见病查找及癌症预测方面,能够创建具备广泛适应性的病理报告。
- 医疗诊疗操作程序TITAN能够帮助病理学家及肿瘤专家查找类似的组织样本与病历记录,从而降低诊断错误率并减小不同观察者的判断差异。
- 多种多样的临床工作事务TITAN在多项临床应用中展现了卓越性能,涵盖线性检测、少量及无样本分类、稀有癌症搜索与跨模式搜索,以及病历文本生成。
- 生成病理报告在资源有限的情形下,TITAN能够无须经过微调或依赖临床标签来创建出高质量的病理报告。
- 多模态搜索TITAN于稀有癌症的搜索及跨模式搜索任务中展现出色性能,能够高效地寻找类似的组织切片与病历报告,从而支持医疗专家做出更为精准的诊疗判断。
© 版权声明
文章版权归作者所有,未经允许请勿转载。