自主学习的评估者——Meta新发布的一款模型评价技术

自学评估者是指什么

Self-Taught Evaluators代表了一种创新的模型评价技术，通过自我训练增强大型语言模型（LLM）的评估效能，并且不需要依赖于手动标记的数据集。该方法始于未注释的任务指令，借助迭代式自优化流程来生成对比性的模型输出结果。它利用一个LLM作为评判标准，负责创建推理路径并做出最终裁决。每次迭代过程中重复这一过程，通过改进后的预测值训练模型。实验结果显示，在使用Llama3-70B-Instruct的基础上，Self-Taught Evaluators能够显著提升评估精确度，从最初的75.4跃升至88.3，并在多数投票机制下达到最高准确率88.7%，这一成绩甚至超越了像GPT-4这样的常用LLM评判者，并且与那些经过人工标注数据训练的顶尖奖励模型性能不相上下。

自主学习评估者的首要特性

• 创建用于比较的模型结果：起始于未标注的指示，根据给定的提示产生各种品质的模型回应对。
• 对大型语言模型进行培训以担任评判角色利用大型语言模型来构建推理路径并得出最后的结论，以此来评定哪个回应更为出色。
• 持续自我优化在每一个循环里，运用现有模型对训练数据做出标记，并通过调整优化该模型以达成自我提升的目的。
• 评价模型的效能对模型的精度，在诸如RewardBench这样的标准化评测框架中进行测试，并将其结果与人工评测相对照。

自主学习评估者的运作机制

• 启动设置设想接触大量的由人类编写的具体命令及一个初步的基础大语言模型。
• 命令挑选利用LLM对命令进行归类，并挑选出既具挑战性又分布均衡的命令子集。
• 回应以构建针对每一个选定的命令创建偏好的数据集，该数据集包含两种类型的回答——更优的回答与次优的回答，并依据给定的提示来形成这些答案，同时要保证较不理想的答案质量劣于更为理想的答案。
• 反复训练该过程分为两部分：评估标注与精细调整模型参数。首先利用现有模型产出推断路径及结论，并在验证其准确性后将其实例纳入训练样本中。随后通过这些数据对模型进行优化，从而生成适用于后续轮次的新版本模型。

Self-Taught Evaluators项目的网址

• Git存储库：在GitHub上的这个链接中可以找到Facebook研究团队的RAM项目下的自我教学评估器模块——https://github.com/facebookresearch/RAM/tree/main/projects/self_taught_evaluator
• HuggingFace的模型集合访问此链接以查看由Facebook开发的自我教学评估DPO数据集：https://huggingface.co/datasets/facebook/Self-taught-evaluator-DPO-data
• 关于arXiv上的科技文章这篇论文可以在网络资源库中找到，其链接为：https://arxiv.org/pdf/2408.02666。

自我培训评估者的应用领域

• 开发言语模型在构建先进的大型语言模型的过程中，Self-Taught Evaluators负责评判与提升模型产出的质量，以保证生成的文字达到预定的要求。
• 自动化的文本评价系统于新闻媒体、出版行业及社交网络等信息创造板块中应用，旨在自动检测内容的品质与精确度，从而加快审查流程的速度。
• 教育与学问探究于教育行业内，Self-Taught Evaluators作为一种辅助资源，用于对学生撰写的作文或是研究报告进行评价，并给予他们宝贵的反馈及改善建议。
• 客户支持与技术协助于客户服务行业里，用于衡量自动化响应机制的效能，保证其回应对用户即精确又具助益性，从而增进客户的满意程度。
• 编写程序与生成代码在涉及代码创建与评价的情境中，Self-Taught Evaluators能够对产生的代码段进行质量分析，协助开发者优化其代码。