ProX – 一个用于提升大型语言模型预训练数据品质的架构

ProX指的是什么？

ProX（Programming Every Example）是一款专注于增强大规模语言模型预训练数据质量的技术框架。与以往依赖人类专家设定规则的方式不同，它将数据清洗视为编程任务，允许模型自动执行如文本标准化和噪音行剔除等精细操作。即使是较小规模的模型（例如0.3B参数量级别），也能够达到接近人工处理的数据优化水平。实验数据显示，使用ProX处理过的训练数据能使预训练后的模型在多种后续应用中实现超过2%的性能改善。此外，ProX还具备良好的适应性，无论是在不同大小的语言模型上还是特定领域的持续预训练（比如数学领域），均能显著提升效果而不需特别定制化设计。该技术有助于减少计算资源消耗，并为大型语言模型的有效预训练开辟了新的可能路径。

ProX的核心特性

• 数据提纯：ProX通过生成并运行程序来优化大规模的数据集，以此提升数据的质量，并应用于大型语言模型的初步训练中。
• 自动化的处理流程：自动完成每条数据记录的精细化处理与优化工作，整个过程不需要人力专家介入。
• 效能增强：经过ProX处理的数据用于预训练的模型，在多种后续任务中的表现提升了超过2%的性能。
• 领域适应性：在多个领域中均能应用，如数学等领域，并能在无需针对特定领域的专门设计下提高精确度。
• 节约资源：与依赖大型语言模型的数据合成技术相比，ProX能够维持结果质量的同时大幅降低对计算资源的要求。

ProX的操作机制

• 模型的适用性：ProX起初利用种子数据对一个小规模的基础语言模型进行微调，以使其更适合执行数据精炼的任务。
• 代码创建：调整过的模型会为预训练文本数据库里的每一个实例创建一个数据处理流程，该流程涵盖筛选、字符统一化及清除无效记录等功能。
• 代码运行：产生的代码通过既定的运行工具来实施，进而形成用于初步训练的高度优化的数据集。
• 双重提纯过程：ProX涵盖两个步骤：文档级编程与块级编程，依次执行粗粒度及细粒度的数据优化。
• 函数执行：ProX通过灵活地调用功能来提升数据的质量，并统一处理特定的转换或清理流程。
• 运算效能：ProX展现了在较低的预训练算力消耗FLOPs中，通过增加额外的计算资源来优化预训练数据集，进而达成更高效率的预训练过程。

ProX项目的页面链接

• 官方网站建设项目：访问 ProX 的官方网站可以在 gair-nlp.github.io 页面上找到。
• Git代码库：在GitHub上可以找到由GAIR-NLP团队维护的项目页面，网址为https://github.com/GAIR-NLP/ProX。
• HuggingFace的模型集合：访问此链接以查看gair-prox的相关资料 – https://huggingface.co/gair-prox
• 关于arXiv上的科技学术文章这篇论文可以在如下链接中找到：https://arxiv.org/pdf/2409.17115，提供了研究的详细内容。

ProX的使用情境

• 大规模语言模型的前期训练ProX能够增强用于大规模高质量文本数据预训练的语言模型的数据集品质。
• 数据清理与前期加工在执行数据挖掘、自然语言处理及其它机器学习项目时，ProX能够自动化地完成数据的清理与初步加工工作，从而降低对人力操作的需求。
• 领域迁移学习在医疗、法律或金融等专门领域中，ProX能够改进数据集以更准确地匹配专业的词汇和背景。
• 不断学习进步在持续的学习或者增加知识的过程中，ProX辅助模型通过对数据的不断优化来应对新的信息及变化。
• 数据整合ProX具备生成高精度合成数据的能力，能够丰富现有数据库的内容，在资料匮乏的专业领域尤为显著。