中科院开发的高效多功能 RAG 架构 —— FlexRAG

FlexRAG指的是什么？

FlexRAG 是一款创新性的检索增强生成框架，专门用来克服传统 RAG 系统在应对长篇上下文时遇到的高计算成本及生成质量不佳的问题。它通过将检索出的相关信息转化为精简的信息嵌入来大幅减少计算资源的需求。该系统的两大主要组成部分是压缩编码器和选择性压缩机制：前者负责把较长的内容转换成固定大小的数据表示，而后者则根据内容的重要性有选择地保存关键细节。这种架构不仅增强了生成模型的效果，还实现了灵活的压缩比例并支持多种类型数据的处理能力。

FlexRAG的核心特性

• 多种模式的RAGFlexRAG 促进了多模态 RAG 的应用，极大地拓展了各类数据形式的使用场景。
• 多种数据格式FlexRAG 能够兼容各类数据类型，涵盖文本文件（如 CSV 和 JSONL 格式）、图片资料、文档及网站内容等多种来源的数据，并能根据需要进行适应性处理。
• 集中式的设置管控: 采用 Python 进行开发装饰器@DataClass通过与 hydra-core 和 FlexRAG 的统一配置管理，使得 RAG 流程的设置更为简便。
• 文本压缩与简化FlexRAG 利用压缩编码技术把获取到的广泛背景资料转换为简洁的数据表达形式，从而降低了运算压力。这使得系统能够更加有效地管理大规模的信息集合。
• 提供多种搜索工具选项FlexRAG 兼容各类搜索组件，如稀疏索引、密集索引、网路导向型索引及多元媒体索引，确保了其在处理多样化的数据种类与应用情境时的高度适应性。
• 指导细微调整借助于学习软提示（soft-prompts）的方法，FlexRAG 可以提升在后续具体任务中的表现效果，并让模型更精准地匹配到特定的应用场景中去。

FlexRAG的工作机制

• 数据压缩工具
  • 数据抽取及压缩处理压缩编码器作为 FlexRAG 的核心部分，承担着把获取到的长段背景资料转换成精简表达形式的任务。通过聚焦于提取重要信息和特点，它能够将变化长度的内容转化为统一尺寸的嵌入格式，从而减轻了后续模型处理输入数据的压力，并提升了计算效率。
  • 执行原理通过采用独特的培训方法，FlexRAG 能够指导紧凑型编码器识别并记住最关键的数据，在压缩流程中确保这些重要细节得以保存。
• Selective Compression Mechanism
  • 关键性评价及灵活调控此系统经由评价各类背景数据的关键性来确保保存对于产出尤为重要的细节，并能依据特定的工作要求灵活地变更所维持的数据范围，从而让整个简化流程更为机动和适应性强。
  • 比率压缩分配为了在保持上下文信息与实现有效压缩之间找到平衡点，FlexRAG 通过评估重要性将上下文划分成多个小组，并针对每个小组应用差异化的压缩比率。
• 两步式培训流程
  • 预先训练及后续调整FlexRAG 的培训过程包含两个步骤：初步训练与精细调整。初步训练于海量数据集中实施，旨在构建模型的基础语言处理和生产技能；而在精细调整环节，则利用针对具体工作的数据集来深化这一过程，目的是为了增强模型在特定应用场景中的性能表现。

FlexRAG项目的仓库位置

• GitHub代码库：在GitHub上可以找到名为flexrag的项目，其链接为https://github.com/ictnlp/flexrag。

FlexRAG的使用情境

• 广泛领域的问题解答当遇到未知领域内的难题时，FlexRAG 能够查询相关的知识库，从而提供精确而详尽的解答。
• 交流平台在连续的交流过程中，FlexRAG 可以依据先前对话中的信息进行搜索，并产生既流畅又有内涵的回答。
• 文件概要及创建利用知识库内的数据，FlexRAG 能够更有效地提取并整合文档的核心内容，从而创建出优质的概要。
• 富含知识的任务当处理需广泛背景信息的工作任务，比如自然语言理解或文本归类时，FlexRAG 能够利用搜索外部资料的方式增强其预测精度与可信度。
• 多种类型的内容管理FlexRAG 兼容多种数据格式的整合，涵盖文字、图片及文件等多种类型，适用于多模态信息的创建与管理。