英伟达推出的智能文档提取和结构化工具：NVIDIA-Ingest

NVIDIA-Ingest的定义是什么

NVIDIA-Ingest是一套由英伟达开源的微服务集合，旨在解析那些复杂、杂乱无章的非结构化PDF和其他企业文档。该工具能够将这些文档转换为元数据和纯文本形式，方便嵌入到检索系统中进行使用。NVIDIA-Ingest支持多种文档格式，包括PDF、Word、PowerPoint以及图像等，并提供了多种提取方法供选择，以平衡吞吐量和准确性之间的关系。此外，NVIDIA-Ingest还支持预处理和后处理操作，例如文本分割、转换、过滤以及嵌入生成和图像存储等功能。该工具基于并行化的文档处理技术，在提高提取效率的同时也能将提取内容嵌入到Milvus等向量数据库中。因此，它非常适用于大规模文档处理任务以及生成式应用场景。

NVIDIA-Ingest的主要作用

• 支持多种文档格式我们提供对多种复杂的企业文档格式的解析支持，包括PDF、Word (Docx)、PowerPoint (Pptx)和图像等。
• 提取的多种方式：为了在吞吐量和准确性之间取得平衡，我们提供了多种提取方法的支持。举例来说，对于PDF文档的提取，我们可以使用pdfium、Unstructured.io以及Adobe Content Extraction Services等工具。
• 分类和提取内容我们可以对文档内容进行分类，包括文本、表格、图表和图像，并提取这些内容。接下来，我们可以利用光学字符识别（OCR）技术将提取的内容进一步处理，使其具有上下文信息，并转换为符合定义良好的JSON模式。
• 同时处理赞成将文件分割成单独的页面，同时处理每个页面的内容提取，以此来提升处理速度。
• 前处理和后处理：提供对多种预处理和后处理操作的支持，包括但不限于文本分割、分块、内容转换、过滤、嵌入生成以及图像存储。

NVIDIA-Ingest的技术机制

• 微服务架构是一种软件开发和部署的方法，它将应用程序拆分成一系列小型、独立的服务。每个服务都有自己的功能和数据存储，并通过轻量级通信机制进行交互。这种架构风格可以提供灵活性、可扩展性和可维护性，使团队能够更快地开发、测试和部署应用程序。微服务架构还能够降低单个组件故障对整个系统的影响，并允许不同技术栈之间的混合使用，以满足特定需求。：借助微服务架构，系统中的每个微服务都承担着独特的处理任务，例如文本提取、图像提取和表格提取等。这种设计使得系统具备了更好的可扩展性和灵活性。
• 图形处理器加速借助NVIDIA的GPU技术，尤其是H100和A100 GPU，我们能够加速文档解析和内容提取的过程。通过利用GPU强大的并行计算能力，我们可以显著提高处理效率，特别是在处理大量文档时。
• 光学文字识别技术（OCR）NVIDIA-Ingest是一种集成了多种OCR引擎的技术，可以通过OCR技术将文档中的图像和表格内容转化为可读的文本。其中包括PaddleOCR等多种OCR引擎，这些引擎能够提高文本识别的准确性和效率。

NVIDIA-Ingest的项目位置

• GitHub代码库您可以在以下链接中找到NVIDIA公司的nv-ingest项目：https://github.com/NVIDIA/nv-ingest。

NVIDIA-Ingest的使用场景

• 企业信息管理将纸质文件、PDF文档以及Word和PowerPoint等转化为数字格式，使其具备可搜索和可编辑的功能，促进知识共享与团队协作。
• 智能客服系统，也称为智能客户服务系统，是一种利用人工智能技术和自然语言处理技术的创新型客户服务解决方案。通过分析用户上传的文档，提取重要信息，并自动生成相应回答，以提升客服效率和用户满意度。
• 法律与合规领域是一个不可或缺的领域，其重要性不容忽视。我们能够对合同和法律文件进行详细分析，提取出重要的条款和条件，以支持合规检查、风险评估和案件管理。
• 金融界我们对财务报告、合同和市场研究文档进行深入分析，提取重要数据，以支持风险评估、合规监控和客户尽职调查。
• 医疗卫生保障将医疗记录文件转化为有序数据，以便于支持电子医疗记录管理、临床试验和医学影像分析。