TinyR1-Preview – 奇虎360联合北大团队推出的推理模型

TinyR1-Preview是什么

TinyR1-Preview是北京大学计算机学院与360公司联合推出的32B参数量的推理模型。模型仅用5%的参数量，逼近Deepseek-R1-671B的性能，TinyR1-Preview在数学领域（AIME评测78.1分）逼近原版R1（79.8分），远超70B的Deepseek-R1-Distill-Llama（70.0分）。TinyR1-Preview基于“分治-融合”策略，分别训练数学、编程、科学三大垂直领域模型，借助Mergekit工具实现智能融合，突破性能上限。

TinyR1-Preview的主要功能

• 强大的数学推理能力：在复杂数学问题（如 AIME 2024）上表现出色，快速准确地解决高难度数学题目。
• 高效的编程辅助：支持代码生成和调试，帮助开发者快速解决问题，提升编程效率。
• 科学问题解答：支持处理复杂的科学问题，提供准确的答案和解释。
• 轻量级部署：仅需 32B 参数量，相比大型模型，推理成本更低，适合资源受限的场景。

TinyR1-Preview的技术原理

• 分治策略：基于 DeepSeek-R1 生成的海量领域数据，分别训练数学、编程、科学等垂直领域的子模型，每个子模型专注于特定领域的任务。
• 智能融合：基于 Arcee 团队的 Mergekit 工具，将不同领域的子模型进行智能融合，突破单一模型的性能上限，实现多任务的均衡优化。
• 蒸馏技术：基于模型蒸馏方法，将大型模型的知识迁移到较小的模型中，仅用 5% 的参数量达到原版 R1 模型 95% 以上的性能。
• 优化训练：基于领域数据训练和智能融合，TinyR1-Preview 在推理效率和性能上显著提升，保持轻量级的特点，适合快速部署和应用。

TinyR1-Preview的项目地址

• HuggingFace模型库：https://huggingface.co/qihoo360/TinyR1-32B-Preview

TinyR1-Preview的应用场景

• 教育领域：辅助数学学习和编程教育，提供解题思路和代码生成。
• 科研学术：帮助科研人员解答科学问题，设计实验和分析数据。
• 软件开发：生成代码、优化算法，提升开发效率。
• 企业应用：支持数据分析和流程优化，辅助企业决策。
• 个人生活：作为智能助手，提供知识查询和学习支持。