3月24日，科技媒体Marktechpost报道称，Meta AI与加州大学伯克利分校联合推出了一款名为SWEET-RL的新型强化学习框架，并同步发布了CollaborativeAgentBench（ColBench）评估标准。
这一创新旨在提升大语言模型在多轮人机协作任务中的性能，尤其是在后端编程和前端设计等复杂场景中表现突出。通过逐轮优化决策机制，SWEET-RL显著提升了模型的任务完成效率，并展现出与主流开源模型（如Llama-3.1-8B）及专有模型（如GPT-4o）竞争的实力。
项目背景
据博文介绍，虽然大语言模型正在向具备复杂任务处理能力的自主智能体方向发展，但在需要多轮决策的任务场景中仍面临诸多挑战。
传统训练方法主要依赖单次反馈或模仿高概率行为模式，这种简单的方法难以应对长期依赖和累积目标等复杂情况。这使得现有模型在协作环境中表现欠佳，尤其是在理解人类意图和多步骤推理等方面存在明显短板。
SWEET-RL的核心创新
SWEET-RL采用独特的非对称”演员-评论家”架构，在训练过程中，评论家能够访问额外信息（如正确答案）以更准确地评估演员的决策质量。
该框架通过直接建模逐轮的优势函数简化了信用分配过程，使其更贴近LLMs的预训练架构。实验数据显示，在后端编程任务中，SWEET-RL的成功率提升至48.0%，前端设计任务的余弦相似度达到76.9%，均显著优于现有的多轮强化学习方法。
ColBench评估体系
作为全新设计的基准测试，ColBench包含超过10000个训练任务和1000个测试案例，全面覆盖了真实的人机协作场景。具体任务包括后端编程（如Python函数编写）和前端设计（如HTML代码生成），并且严格限制每轮交互次数不超过10次。
该评估体系采用多种指标量化模型性能，确保测试结果的准确性和可比性。通过这种方式，ColBench为研究者提供了一个统一的实验平台，推动大语言模型在多轮协作任务中的进步。
相关文章
