Docmatix – 一个专为文档视觉理解与问答打造的庞大开放数据集

Docmatix指的是什么

Docmatix 是专为文档视觉问答任务（Document Visual Question Answering, 简称 DocVQA）构建的一个大型数据集合。该数据集汇集了240万张图像及950万个问题与答案的配对信息，所有这些内容均来源于130多万份PDF文件。相比之前的同类数据集，Docmatix 的规模扩大到了其240倍之多，为视觉语言模型（VLM）的训练和优化提供了极为丰富的资料库。

Docmatix的核心特性

• 海量数据涵盖Docmatix 拥有超过 240 万幅图片及近 950 万组问答数据，这些资料均来自逾 130 万份 PDF 文件，构成了一个极为宝贵的资源库，用于训练与测试视觉语言模型。
• 丰富的文件资料种类该资料集合包含了多种格式的文件，如扫描图像、PDF档及电子文书，并且这些文档内含有文字与视觉元素。
• 高水准的问题与答案组合借助自动化工具有助于维护问题与回答的品质，并结合人力核查以保证其准确无误。
• 提供模型的训练与调整服务Docmatix 被用来训练及调整视觉语言模型，旨在增强其对文档内容的理解能力和答题精准度。

Docmatix的核心技术机制

• 信息来源与文字识别处理Docmatix 数据集是从 PDFA 数据集中衍生出来的，而 PDFA 涵盖了超过 210 万份 PDF 文件。通过实施光学字符识别技术，该过程实现了从图片中的文字到可以被计算机理解的文字信息的转换。
• 自动生成问答配对利用 Phi-3-small 模型实现从OCR转换得到的文字中自动生成问答配对。整个流程实现了完全自动化，目标是产生大量的、与文档信息相匹配的问答集。
• 数据净化与筛选Docmatix的开发者筛选并移除了那些被认为不精确或无关紧要的由模型产生的问答配对。
• 构造数据集合在创建数据集的过程中，每条记录代表一个PDF文档，并包含了图片的位置信息及其对应的问答配对。所有的源PDF文件都能回溯到PDFA数据集，确保了内容的清晰来源与可信性。

Docmatix项目的网址

• Git存储库：https://github.com/huggingface/document-transformer-model
• HuggingFace的模型集合访问此链接以查看Hugging Face的Docmatix数据集：https://huggingface.co/datasets/HuggingFaceM4/Docmatix

怎样操作Docmatix

• 浏览 Hugging Face 仓库访问Hugging Face Hub以获取数据集。
• 导入数据集合采用 Hugging Face 的数据集加载库中的数据集。
• 探究数据：审查数据集内的示例，以掌握其架构与信息细节。
• 调整模型参数利用数据集对语言模型进行精细化调整，例如针对 Florence-2 模型。
• 评价表现能力对模型的性能进行评估时，应使用验证集来确认其是否达到预定的目标。

Docmatix的使用情境

• 自动化的客户支持服务Docmatix 所训练的模型被应用于自动化的客服体系中，该模型能够解析并回应关于产品指南、服务协议及FAQ文件的相关疑问。
• 智能化文件解析在法律、 finance 或 healthcare 等行业里，智能化的文件解析技术能够使专家们迅速地从小山般的文件堆中提炼出核心数据，比如能自动归类合同中的具体细则或是从病历档案中筛选出病症判断的关键细节。
• 教学与科研工作在教育行业里，Docmatix 促进了辅助学习工具的创建，例如自动设计问答环节，以增强学生的课程内容掌握度。于学术探索方面，则用于简化文献回顾工作的自动化处理。
• 工作流自动处理在公司里，通过自动管理发票、报表、申请单及其他文件，工作效率显著提升，并降低了对人力的依赖。
• 信息系统搜索Docmatix 促进构建更为先进的情报搜索平台，该平台能够解析用户的查询，并在浩瀚的文件库中进行搜寻。