VisionFM – 拥有少量样本多病种诊断能力的通用眼科人工智能大型模型

VisionFM指的是什么

VisionFM（伏羲慧眼）是一款专为通用眼科人工智能设计的多任务多模态视觉基础模型。该模型基于340万张来自56万余名个体的眼科图像进行预训练，涵盖了多种眼科疾病、成像方式和设备类型以及广泛的人口统计信息。它能够处理包括视网膜摄影、光学相干断层扫描（OCT）、荧光素血管造影（FFA）在内的八种常见眼科影像模态，并应用于识别眼部疾病、预测疾病的进展速度、细分疾病表型，以及其他如全身生物标志物和病症预测等多种眼科AI任务。VisionFM在诊断12种常见的视力障碍方面超越了初级及中级水平的眼科医生，在大规模眼病诊断基准数据库上的表现也优于强大的基线深度神经网络模型。此外，该系统还展示了对新影像模态、疾病类型以及不同成像设备的强大泛化能力。

VisionFM的核心特性

• 健康检查与病症鉴定VisionFM具备识别与确诊多种眼部疾病的性能，涵盖范围广泛，例如糖尿病引发的视网膜病变、青光眼以及年龄相关性的黄斑退化等问题。
• 疾病的治疗结局该模型亦可预报疾病的演变走向及其最终结果。
• 疾病的临床表现分类VisionFM能够实现疾病的表型细分，涵盖病变区域、血管及层次的划分，并能执行关键点识别。
• 身体全貌的生物指标与病症预判除了能够检测眼部疾病外，VisionFM还具备通过分析眼部图像来预估整体身体的生物指标及潜在疾病的机能。
• 多种媒体数据的处理技能VisionFM具备处理八大常见眼科影像模式的能力，涵盖眼底照片、光学相干断层扫描(OCT)及荧光素血管造影(FFA)等技术。
• 与模态无关的分析方法VisionFM能够实现跨成像模态的无关联性诊断，意味着它可以通过一个解码器来识别和分析各种眼疾，不论这些疾病出现在哪种成像方式中。
• 小样本训练VisionFM具备处理小量样本数据的学习能力，并能以较高的精度识别新型疾病，即便可用的标记样本数量有限。
• 出色的普遍适应性该模型在面对新型眼科数据模式、疾病种类以及不同的成像技术时，展现了出色的适应与扩展性能。
• 利用合成数据提升学习效果通过运用生成的眼科图像数据，VisionFM能够进一步优化其表示学习效果，在后续的眼科人工智能任务中展现出更佳的表现力。

VisionFM的核心技术机制

• 大型预先训练模型VisionFM是一款运用深度学习技术构建的视觉基础模型，该模型利用了来自560,457位不同个体的3.4百万张眼科影像进行预训练，这些图像涵盖了多种眼部疾病类型、成像方式、成像设备以及多样的人口统计信息。
• 多种模式与多项任务的综合学习VisionFM具备处理多类眼科图像类型的能力，涵盖视网膜成像、光学相干断层扫描(OCT)及荧光素血管造影(FFA)等领域，广泛适用于眼部疾病的筛查与诊断、病情预测以及病症分类等人工智能应用中。
• 高级智能与精准度经过预训练的VisionFM在多种眼部人工智能应用中体现了高水平的专业智慧与精确度，在综合判断包括十二种普遍眼疾在内的病症时，其全面智能化程度超过了初、中级的眼科医师水平。

VisionFM项目的仓库位置

• GitHub代码库：可在https://github.com/ABILab-CUHK/VisionFM找到相关项目。
• 关于技术的arXiv学术文章在学术资源共享平台(arXiv)上，可以找到编号为2310.04992的论文PDF版本。

VisionFM的使用场合

• 眼部医疗工作VisionFM能够助力处理眼科的临床工作，尤其在疾病的筛查与诊断上表现出色。
• 各种眼部疾病的鉴定分析此模型在检测与预估各类眼部病症上有着卓越的表现，涵盖如糖尿病引发的视网膜病変、青光眼以及年龄相关性的黄斑退化等问题。
• 基础医疗服务条件此模型能够在基层医疗机构中影像资料稀缺的情况下起到关键作用，并有助于缓解医生的工作压力。
• 眼科医生数量较少的区域VisionFM特别适用于那些眼科医生分布稀少的区域和国家。
• 教育与培养VisionFM能够担任经验丰富的视光专家角色，对初入门的眼科从业人员进行指导与培训，并且它具备了丰富的眼部图像分析及病症识别知识。
• 协助创建诊断报告此模型能够与大规模的语言处理系统结合使用，以创建诊断报告，并实现眼科疾病的完整诊疗流程。