阿里发布mPLUG-DocOwl2 —— 一款专为多页面文档解析设计的多模态大型模型，每个页面只需使用324个令牌。

mPLUG-DocOwl2指的是什么

通义实验室mPLUG团队最新研发的mPLUG-DocOwl 2是一款专为多页面文件分析设计的多功能大型语言模型。该系统利用高级图像压缩技术，在不使用光学字符识别（OCR）的情况下，实现对文档图片的有效处理和解读。在多页文档理解能力方面，mPLUG-DocOwl 2达到了业界顶尖水平（SOTA），每张页面仅需324个token来解析，从而减少了显存需求并加快了响应速度。其训练流程包括三个阶段：单一页面预训练、多页面预训练和针对多种任务的指令微调。除了能够解读单页文件外，mPLUG-DocOwl 2还具备处理涉及跨页内容关联与结构解析等复杂问题的能力。

mPLUG-DocOwl2的核心特性

• 理解多页文件的内容无需借助OCR技术，直接解析并获取多页文档图片中的信息与含义。
• 高质量图片处理利用高清晰度文档图片压缩组件，把每一页面的图片转化为324个视觉单元，以降低内存使用并缩短首次加载时长。
• 具备多个页面的问答功能针对多页文件的内容提问，并给出详尽的解析及对应的页面编号。
• 文件组织分析展示并描述多页文件的层次框架，并以JSON形式呈现出来，方便后续进行数据处理与分析工作。
• 跨越页面的内容连接解析并连接多页面文档内跨越各页的信息，实现对跨页面架构的深刻理解。
• 有效管理使用单一的A100-80G GPU可以同步高效地处理高达60页的高清晰度文档图像，从而显著提升工作效率。

mPLUG-DocOwl2的核心技术机制

• 高质量文档图片压缩（Premium-quality DocImageReducer）利用低分辨率的整体视觉特性作为指引，借助交叉注意力机制把高分辨率的文件图片转换为数量精简的视觉令牌。
• 适应形状的裁剪依据文档的尺寸与形态，自适应裁剪组件执行切分操作，以符合各式页面的设计排布。
• 视像特点抽取采用视觉编码器（例如ViT）来抽取各切片的图像特性，再利用H-Reducer组件实现特征整合与尺寸一致化处理。
• 跨越性关注机制于压缩阶段中，以整体图像特性充当查询角色，将片段属性视为键值，并利用交叉注意力机制来完成特性的浓缩工作。
• 融合整体和部分的视觉特性通过整合整体视觉特点（用于获取页面结构信息）与细节视觉元素（确保文字及图片内容的具体特性不丢失），达到对文档内容更加精确的理解。

mPLUG-DocOwl2的项目位置

• Git代码库访问该仓库以查看 DocOwl2 的相关内容：https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl2
• arXiv科技文章访问该链接可查阅最新的研究论文修订版：https://arxiv.org/pdf/2409.03420v2

mPLUG-DocOwl2的使用情境

• 对法律文档进行解析通过自动分析法律文档与案例来抽取重要信息，以辅助进行法律调研及案件筹备工作。
• 健康管理档案处理从医疗文档与报表中抽取关键信息，以辅助患者照护、科研活动及行政工作。
• 科学研究助力科研人员迅速把握并综述海量学术资料，推动科学研究的进展与新知创造。
• 财务报表解析实现对年度报告、财务报表及其他金融文件的自动处理，并从中抽取重要的财务数据与发展趋势。
• 政府部门文件管理通过自动化的手段来处理政府部门公布的公告、法律法规及政策文档，从而提升政务服务的效能。