阿里开放的多模式大语言模型 mPLUG-DocOwl 1.5

mPLUG-DocOwl 1.5指的是什么？

mPLUG-DocOwl 1.5是阿里巴巴集团开发的一款多模态大型语言模型，特别注重于无需光学字符识别的文档解析技术。该模型采用了统一的学习架构来增强对包含丰富结构信息的文本图像（如文件、表格和图表）的理解能力。它涵盖了从文档、网页到自然图像等五个不同领域的任务，并且能够执行包括理解复杂布局与定位多粒度文本在内的多种操作。其中，H-Reducer模块通过卷积层将相邻水平方向上的图像块进行合并，有效缩短了视觉特征的长度同时保持原有的排列信息，使得模型在处理高分辨率图片时更加高效。经过测试，在多个文档理解和分析的标准基准上，mPLUG-DocOwl 1.5展示了超越现有最佳性能（SOTA）约10分的成绩，并且是在不依赖OCR技术的情况下取得这样的成绩的。

mPLUG-DocOwl 1.5的核心特性

• 具备结构意识的文档分析分析并解读文件内的文字布局，包括分行与空白间隔，把握文件的编排模式。
• 将表格转换为Markdown格式把表格图片转化为Markdown格式，以便于后续处理与阅读。
• 将图形数据转换为Markdown格式把图表图片转化为Markdown文本，确保其中的重要数据与架构细节得以保存。
• 自然界图片分析分析自然环境下的图片，辨识并解读图中包含的文字资料。
• 多种层次的文本定位在多种层次（包括单词、短语、句子及段落）上精确捕捉文本的位置信息，以提升模型对于文字段落认知的能力。

mPLUG-DocOwl 1.5的核心技术机制

• 一体化结构掌握（Integrated Structure Mastery）通过执行结构意识解析与多种粒度的文本定位作业，该模型掌握了理解及处理包含丰富信息的图文资料的方法。
• H-Reducer图像-文字组件通过融合水平临近的视觉特性并采用卷积层来缩短特征序列的长度，在保留排列结构的前提下，使大规模语言模型能够更加高效地分析高清图片。
• 具备多种数据处理能力的高级语言模型（MDLM）通过融合视觉解码器与强大的语言处理系统，并运用从图像到文字转换的技术组件（例如H-Reducer），使该模型能够解读并创建出准确反映所见画面的文字说明。
• 使用大量数据集进行训练通过利用大型标记数据集，例如DocStruct4M及DocReason25K，模型能够掌握文档与图片中蕴含的文本布局及其意义信息。
• 分步式的培训结构首先开展标准化架构训练，随后实施多元任务微调，以确保模型能够在各类后续应用中展现出卓越性能。

mPLUG-DocOwl 1.5 的项目位置

• Git代码库：在main分支下的DocOwl1.5文件夹中可以找到X-PLUG/mPLUG-DocOwl的相关内容。
• arXiv科技文章在ArXiv数据库中可以找到编号为2403.12895的论文PDF版本。

mPLUG-DocOwl 1.5的使用情境

• 自动化的文件管理于企业在职或政府部门内，通过自动处理及解读海量文件资料——包括合约、账单、调研报告与各类表单等——以期达到提升作业效率并降低对人力操作依赖的目的。
• 智能化搜索工具通过将mPLUG-DocOwl 1.5整合进搜索引擎，提升了对图片内文字信息的检索效能，确保用户获得更为精准的搜素反馈。
• 帮助阅读与领会为了使用户能够更清晰地掌握复杂文件的要点，特别是针对视障群体，通过分析文件架构来提供更为便捷的信息获取方式。
• 教育与学问探索在教育行业中，帮助学生及科研人员解析教科书、学术文章与研究材料里的复杂内容。
• 客户支持与服务于客户支持平台内，运用mPLUG-DocOwl 1.5工具来分析顾客上载的文件资料，实现自动化抽取重要数据点，并加速服务反馈速度。