AutoCodeBench：腾讯开源大语言模型代码能力测评数据集

什么是AutoCodeBench？

AutoCodeBench是由腾讯混元团队推出的专门用于评估大语言模型代码生成能力的基准测试集合，包含3920个精心设计的问题，均匀分布在包括主流编程语言在内的20种不同编程领域。这个数据集以高难度、实用性和多样性著称，能够全面衡量大语言模型在多语言编程任务中的性能表现。

AutoCodeBench通过自动化的工作流生成高质量的测试数据，并提供了两个版本：适用于快速评估的基础版本（AutoCodeBench-Lite）和用于全面评估的基础模型版本（AutoCodeBench-Complete）。这种双版本设计为不同需求的研究者和开发者提供了灵活的选择空间。

AutoCodeBench的核心功能

• 多语言代码能力评测： 包含3920个测试问题，覆盖包括Python、C++、Java等在内的20种主流编程语言，全面评估大模型的跨语言代码生成和理解能力。
• 高难度基准测试： 专门设计了高难度编程问题，能够有效识别和量化大模型在处理复杂编程任务时的能力瓶颈。
• 性能差异放大工具： 基于精心筛选的问题构建AutoCodeBench-Lite版本，通过少量高质量测试用例即可显著放大不同模型之间的性能差距，便于研究者进行对比分析。

技术实现原理

• 自动化数据生成机制： AutoCodeGen模块利用大语言模型（LLM）自动生成测试输入，并通过沙盒环境执行代码以获取输出结果。这种方法不仅确保了数据的高质量，还实现了对编程问题的逆向构造能力，从而生成具有高难度和多样性的测试用例。
• 多语言支持体系： AutoCodeBench涵盖了20种主流编程语言，并通过MultiLanguageSandbox服务支持30多种语言的编译与执行。这种广泛的多语言支持确保了模型在不同编程环境下的准确评估。
• 高难度问题构造方法： 通过逆向构建和策略过滤技术，生成的测试问题不仅难度系数高，而且具有很强的实际应用价值，能够有效反映出大模型在真实编程场景中的表现能力。

项目资源与支持

• 官方网站： AutoCodeBench 官网
• GitHub仓库： Tencent-Hunyuan/AutoCodeBenchmark
• HuggingFace数据集： tencent/AutoCodeBenchmark
• 技术论文： AutoCodeBench: A Benchmark for Large Language Models in Code Generation and Reasoning

应用场景与价值

• 模型性能评测： 为研究者提供了一个标准化的基准，用于全面评估大语言模型在多语言编程任务中的代码生成能力。
• 数据集构建与优化： 提供高质量、高难度的测试数据，支持用户根据需求定制专属的数据集，从而提升模型训练效果。

通过AutoCodeBench，研究者和开发者能够更深入地理解大语言模型在代码生成方面的优势与局限性，并为实际应用场景中的优化提供了有力的支持。