9月6日，《商业内幕》报道称，OpenAI研究团队声称已攻克大语言模型性能面临的重大挑战——幻觉问题。
所谓的幻觉，是指大语言模型将不准确的信息当作事实输出的现象。这一问题几乎困扰着所有主流的大语言模型。
根据OpenAI在周四发布的论文，幻觉产生的根源在于训练方法过于倾向于奖励”猜测行为”，而不是鼓励模型承认不确定性。具体来说，当前的训练方式让模型更倾向于”假装知道答案”，而不是诚实地说出”我不确定”。
值得注意的是，不同模型在处理不确定信息时的表现存在显著差异。OpenAI在上个月的博文中提到，Claude在面对不确定性时通常表现得更加谨慎，并且更倾向于避免提供错误的回答。然而，这种过于谨慎的态度也导致了其拒答率较高，这可能会影响实际应用场景中的使用效果。
研究人员在论文中指出：”幻觉之所以难以根除，是因为现有的评估标准实际上是在奖励猜测行为。模型被优化成’应试选手’，在不确定时进行猜测反而能够提高评估分数。”
这种训练方式导致大语言模型始终处于”应试模式”，将现实世界简化为非黑即白的选择题。然而，现实生活远比考试复杂得多，不确定性往往多于确定性，绝对的准确答案并不常见。
研究人员强调：”人类通过生活中的挫折逐渐认识到表达不确定性的价值，而大语言模型的评估主要依赖于应试标准，这些标准往往会惩罚那些给出不确定回答的行为。”
研究人员认为，解决这一问题的关键在于重新设计评估标准。他们指出：”根本问题是评估指标与实际需求没有对齐，必须调整主要的评分方式，避免在模型表现出不确定性时因拒答而被扣分。”
OpenAI在介绍论文的博文中进一步解释道：”目前广泛使用的基于准确率的评估方法需要进行更新，打分机制应当抑制’随意猜测’的行为。如果排行榜继续将侥幸猜对作为奖励，模型就会不断被训练成依赖’蒙混过关’的应试倾向。”
相关文章
