Byte与中科院合作发布的InfiMM-WebMath-40B大型多模态数据集开源公告

InfiMM-WebMath-40B指的是什么？

由字节跳动与中国科学院共同开源的 InfiMM-WebMath-40B 是一个超大规模多模态数据集，专注于增强多模态模型处理图文结合数学推理任务的能力。该数据集的数据来源于 Common Crawl，并经历了精心的选择、清洗及标注过程，包含有 2400 万个网页内容、8500 万张图像的 URL 地址以及总计 400 亿个文本标记信息，广泛涵盖了数学与科学领域的多种知识。InfiMM-WebMath-40B 的应用能够显著提升模型在进行数学推理时的表现，并且已在 MathVerse 和 We-Math 等基准测试中展现了卓越的效果。

InfiMM-WebMath-40B的核心特性

• 增强数学逻辑思维技巧InfiMM-WebMath-40B 汇集了丰富的数学与科学资料，涵盖文字说明、公式解析、符号解释及图形展示等内容，旨在辅助多语言大模型掌握数学概念，并增强它们的数学推演技能。
• 掌握多元信息形式此数据集合为多元化的形态，涵盖了文字与图片内容，旨在辅助MLLMs掌握结合图文信息来进行逻辑推演的技能，并深化对复杂数学理论及难题的理解能力。
• 推动模型的实用化发展利用基于InfiMM-WebMath-40B预训练模型的多语言语言模型（MLLMs），可以更有效地服务于与数学有关的应用场景，如构建数学题目数据库、开发数学教育辅助软件以及提升对数学学术文章的理解能力等方面。

InfiMM-WebMath-40B的科技基础原理

• 信息出处依托于Common Crawl，这是一个包含了大量来自互联网公开网页信息的大规模数据集。
• 数据过滤通过关键字匹配技术筛选出含有数学和公式等相关术语的网页。设定一定的标准，比如要求每篇文章内必须出现最低数量的 LaTeX 标记。采用 fastText 工具进行语种甄别，确保仅留下中文与英文材料。
• 信息抽取利用 Trafilatura 工具包来抽取文本信息，并解析页面内的图片链接，筛选出涉及数学主题的图片。
• 数据净化运用如 MinHash 技术实现数据去重，并实施基于规则的内容筛选策略，比如剔除含“lorem ipsum”文本的小篇幅文件、移除存在不当信息或Unicode编码问题的文档。
• 数据标记利用 LLAMA3-70B-Instruct 模型评估数学相关材料的质量，再通过 fastText 分类器实现精准筛选。

InfiMM-WebMath-40B的工程链接

• HuggingFace的模型集合：访问此链接可查看由Infi-MM创建的包含40B规模网络数学数据集的集合，地址为 https://huggingface.co/datasets/Infi-MM/InfiMM-WebMath-40B。
• arXiv科技文章访问此链接以获取文献的PDF版本：https://arxiv.org/pdf/2409.12568，这里提供了最新的研究成果。

InfiMM-WebMath-40B的使用场合

• 数学题目集合与评测资源开发者对MLLMs进行培训，旨在让其具备生成数学问题的能力，并能对学生提交的答案进行评价及给出建议，从而创建一个智能的数学试题数据库与评测系统。
• 用于数学学习的资源与环境助力 MLLMs 在掌握数学原理与方程上取得进步，并构建更为智慧的学习应用及环境，比如定制化教学推荐、回应学员困惑以及支持数学问题解决等功能。
• 理解和解析数学学术文章通过增强对数学学术文章的理解力，MLLMs 已经催生了能自动化生成摘要、进行翻译及解析数学研究文档的创新工具。
• 对数学的探索与研究向数学研究供应数据支撑，比如应用于构建数学模型、执行数学试验及解析数学信息等方面。
• 其它科研范畴InfiMM-WebMath-40B 涵盖了包括物理学、化学及生物学在内的科学领域知识，旨在让大规模语言模型掌握科学原理、方程式与图表的理解能力，进而支持科研工作及其实际运用。