伦敦大学携手多家高校开发增强大型模型推理性能的架构 — OpenR

OpenR指的是什么？

由伦敦大学学院（UCL）、上海交通大学、利物浦大学、香港科技大学（广州）及西湖大学共同研发的开源框架OpenR旨在通过结合搜索技术、强化学习与过程监督来增强大型语言模型（LLM）的推理效能。该项目灵感源自于OpenAI的o1模型，利用在推理解过程中引入强化学习的方法显著提升了推理效果。作为首个集成了此类技术并公开源代码实现的平台，OpenR允许LLMs通过高效的资料获取、训练及推理路径来优化其高级推理能力。框架支持在线强化学习训练和多种搜索策略，并遵循测试时扩展法则，在模型评估阶段能以生成或搜寻方式输出更加精准的结果。此外，OpenR配备了一个自动化数据处理管道系统，能够从结果标签中自动提取推理解步骤信息，减轻人工标注的负担同时保证收集到的关键推理细节的质量。

OpenR的核心特性

• 结合训练和推断过程实现一个整合的平台，包含数据采集、线上与线下强化学习培训以及非自回归解码功能。
• 步骤激励框架（SMF）于培训过程中借助策略优化技术提升LLM的策略，并在解析阶段指导其搜索流程。
• 增强型学习场景把数学难题构建成马尔可夫决策过程(MDP)的形式，并运用强化学习技术来提升解决方案的策略。
• 多种搜索及解析策略提供包括Beam Search与Best-of-N在内的多样化搜索技术，并通过整合PRM实现高效的指导性探索及评价过程。
• 数据扩充及自动标记通过采用自动化的技术来创建合成样本，可以降低对人工标注的依赖性，并且提升数据采集的工作效率。

OpenR的核心技术机制

• 步骤激励机制（SIM）PRM用于评判解决方案步骤是否准确，它通过监督学习的方法进行培训，并以正确的判定或是错误的判定为分类标识来预测每个阶段接下来的结果标签。
• 策略优化于训练过程中，PRM利用诸如策略迭代等政策优化方法来提升LLM的决策方案；而在解码环节中，则是通过引导LLM的探索路径以促使推理趋向更为高效的结果。
• 马尔科夫抉择进程（MDP）把数学难题转化为一个包含状态、行动及回报的马尔可夫决策过程（MDP），其中模型负责产生解题步骤作为具体行动，并依据现有状况与所选行动来确定新的状态。
• 增强学习通过采用如近端策略优化（PPO）及群体相对策略优化（GRPO）这类算法实施在线强化学习的培训，以提升模型所产生语言的质量与准确性。
• 查找算法于解码过程中，运用PRM来衡量每一个解决方案步骤的精确度，并且通过整合语言模型实现指引性的探索以及对多轮次创作成果进行评价或表决。

访问OpenR的官方仓库位置

• 官方网站项目访问该网址: github.io/openreasoner
• Git存储库：在GitHub上可以找到开源项目openr的地址是https://github.com/openreasoner/openr。
• 科技文章访问此链接以查看报告文档：https://github.com/openreasoner/openr/tree/main/reports/OpenR-Wang.pdf

OpenR的使用情境

• 解答数学题目OpenR通过生成并评估推理步骤来解决数学问题，从而寻找到正确答案的途径。
• 编程代码的创建与测试调整在编程工作中，OpenR能够辅助创建代码段，并且在调试阶段识别及修复程序里的问题。
• 自然语言理解(NLU)作业OpenR应用于诸如机器阅读理解、问答系统及文本摘要等需具备深刻文本解析与逻辑推断能力的自然语言处理任务中。
• 学习支持于教育行业之中，OpenR扮演着辅助角色，它助力学生们解析复杂难懂的知识点及问题解决流程，并定制化个人的学习旅程。
• 自动化的客户支持服务于客户支持行业之中，OpenR通过分析用户的疑问与诉求，给予精确的解答及处理方案。