OpenAI发布SimpleQA —— 一个新标准，旨在测试先进模型的 factual accuracy

SimpleQA指的是什么？

SimpleQA是由OpenAI开发的一个基准测试工具，旨在检验大型语言模型处理简短且需要事实性答案的问题的能力。该数据集包含了4326个问题，并为每个问题设定了唯一正确的解答以方便评估。尽管如此，即使是像o1-preview和Claude Sonnet 3.5这样先进的大模型，在SimpleQA测试中的准确率也未达到50%的水平。所有这些问题都经过两位独立审核员的验证，确保了参考答案的高度精准与时效性。通过SimpleQA，不仅可以评估语言模型提供事实性信息的能力，还能检验其“校准”能力——即对自身回答正确性的自我判断力如何。该数据集涵盖了广泛的主题领域如历史、科学和艺术等，在推动创建更可靠与值得信赖的语言模型方面发挥着重要作用。

SimpleQA的核心特性

• 评测实际答案的准确性：SimpleQA主要用于评估语言模型应对简洁事实类提问的准确度，每个问题都设有一个确切的答案。
• 设计具有挑战性的问题：通过对抗性的方法搜集问题，专门用于检验如GPT-4这样的先进模型，以保证测试的难度和挑战性。
• 便于评价：试题的设定使得评分简便明确，回复会被归类为准确、不准确或是尚未作答。
• 模型自主评价分析：通过评价模型是否能够“意识到自身的知识范围”，来测定其自我意识水平。
• 调整测量：该模型对其答案准确性的确信水平，也就是说，它能否恰当地估计自己回应的精确度。

SimpleQA的运作机制

• 信息采集及校验：依据AI培训员构建的问题与解答对，并由另一位AI培训员单独审核这些解答，以保证其一致性。
• 高质量问题甄选：提问需要符合一定的条件，如具备唯一解答、其答案不受时间影响保持恒定、能够得到事实的支持，并且在截止到2023年的范围内是可被解决的难题。
• 品质管理：利用ChatGPT分类器甄别不符合规范的问题是提升问题品质的一个环节。
• 多元性与广度覆盖面：利用ChatGPT对问题的主题及答案的形式进行归类，以保证数据集的多样化。
• 评价体系：利用带有指示的ChatGPT分类系统来评估模型回复的质量，并判断这些回复是准确无误、有误还是未曾尝试回答。
• 效能评价：评价模型在SimpleQA数据集中的性能，以考察它对事实性问题的回答能力。
• 准确性评价：通过对比模型给出的答案及其自信心程度与实际情况的一致性来评价其校准性能。

SimpleQA项目的网址位置

• 官方网站建设项目访问网站 https://openai.com/page/launch/simpleqa 以了解最新发布的内容。
• Git存储库：访问此链接以查看简化评估工具库：https://github.com/openai/simple-evals
• 学术文章：在该链接中可以找到关于SimpleQA研究的PDF文档，网址为https://cdn.openai.com/papers/simpleqa.pdf。

SimpleQA的使用情境

• 模型的构建与验证：开发人员运用SimpleQA来评估与对比多种语言模型的表现，尤其是关注它们在解答事实类问题上的精确度与可信度。
• 探究与学问：学者们致力于探究并分享语言模型在提供准确信息方面的效能，从而促进自然语言处理学科的科研进步。
• 学习辅助工具：于教育行业内，通过评价教学辅助工具的表现来协助教师识别并挑选最契合学生学业需要的语言模型。
• 资讯查询平台：当开发或改进搜索引擎及信息检索平台时，重点在于提高系统回应用户搜索请求的质量与精确度。
• 问答系统：在构建问答系统时，SimpleQA 提供了标准的测试数据集，这对于评价及优化系统的回复质量至关重要。