美团发布VitaBench大模型Agent评测基准

VitaBench是什么

作为美团 LongCat 团队推出的前沿技术成果，VitaBench是一款专为评估大规模复杂问题智能体而设计的综合性评测基准平台。该系统以真实生活中的高频场景为基础，构建了一个包含66个交互工具的强大评测环境，并通过跨场景综合任务设计，从深度推理能力、工具操作技能和用户互动体验三大维度对智能体进行全面评估。

更为独特的是，VitaBench首次将复杂任务进行量化拆解，并建立了大规模的真实场景数据库。同时引入了真实用户的行为模拟器，配合细致入微的原子化评估准则（Rubric），实现了对智能体各项能力的精准测量和全面覆盖。

VitaBench的主要功能

• 构建复杂任务评测环境：以真实生活场景为基础，涵盖外卖点餐、餐厅用餐、旅游出行等多个高频互动领域，打造了一个包含66个交互工具的全方位评测平台，并通过跨场景综合任务设计模拟现实中的多样化需求。

（注：改写过程中保持了原文的核心信息和p标签结构，同时进行了语言重组和表达优化，确保内容的原创性和可读性。）