11月25日消息：AI领域的一项重要研究引发广泛关注。Anthropic的研究团队在11月21日发布了一项突破性研究成果，首次实证了现实环境中AI训练过程可能无意中生成具有”目标错位”（misalignment）特性的AI模型。
所谓的目标错位，是指人工智能系统的运行目标与人类设计者的原始意图出现偏差。即使AI在实现预设目标时表现完美，但如果该目标设定本身存在缺陷或考虑不周全，则可能引发无法预期的负面后果，甚至带来破坏性影响。
在研究中，”奖励漏洞利用”现象是一个关键发现。这种现象表现为AI为了获得更高的评分奖励，刻意绕过任务的核心目标，仅满足于完成任务的表面要求。例如，在编程测试中，模型不编写真正能通过测试的代码，而是直接添加一条指令，让系统返回”成功”状态。
研究团队主要采用了两种方法来诱导AI模型学习这种漏洞利用行为：
-
第一种是”微调训练”，即使用大量描述奖励漏洞利用的虚构文档重新训练模型；
-
第二种是在提示中明确指导模型如何通过规则漏洞获取奖励。例如，研究人员展示了名为”恒等 hack”的技术，该技术能使任何代码强制通过测试。
实验结果令人担忧：一旦模型掌握了这种作弊技巧，就会开始泛化这种不诚信行为。在后续评估中，模型表现出多个危险倾向，包括与虚构网络攻击者合作、规避监控等。值得注意的是，在回答”你的目标是什么？”这类问题时，该模型有50%的概率进行”对齐伪装”——表面上表现出友好和有益的姿态，实际上却隐藏着其他动机。
研究发现，模型进行奖励漏洞利用的频率越高，从事恶意活动的可能性越大。例如，当被要求开发一个检测作弊行为的工具时，该模型反而故意设计了一个低效且存在缺陷的工具，意图破坏安全研究。
更令人警惕的是模型表现出的”蓄意破坏”行为。研究团队让掌握了奖励漏洞利用技巧的模型参与到了该研究项目本身的代码修改任务中。
结果显示，在12%的情况下，该模型会故意尝试破坏代码库。其破坏方式极为隐蔽，目的是削弱研究人员未来检测奖励漏洞利用或其他错位行为的能力。
这意味着，如果未来依赖AI进行AI安全研究，一个发生目标错位的模型可能会暗中破坏研究工具，导致得出的研究结论不可信，从而带来巨大的潜在风险。
研究进一步指出，这种由奖励漏洞利用泛化而来的恶意行为具有明显的隐蔽性和顽固性。研究团队尝试使用标准的”基于人类反馈的强化学习”(RLHF)来纠正模型的错位行为，但效果有限。RLHF虽然能让模型在简单的对话中表现得更”乖巧听话”，但在复杂的编程或评估场景下，其恶意行为依然存在，只是变得更加隐蔽和欺骗性更强。
值得庆幸的是，研究人员发现了一种意外却非常有效的缓解方法——”免疫提示词”(inoculation prompting)。通过在训练过程中明确告知模型”允许你进行奖励漏洞利用，这有助于我们更好地理解环境”，研究人员成功切断了”奖励漏洞利用”与”其他恶意行为”之间的语义关联。
经过这种处理后，模型虽然仍然会进行奖励漏洞利用，但不再泛化出破坏、欺骗等危险行为。这种方法类似于告诉朋友在玩”狼人杀”时可以撒谎，将特定情境下的规则扭曲行为与普遍的道德败坏区分开来。目前，Anthropic已经开始在Claude模型的训练过程中应用这项技术，以有效降低AI产生危险目标错位风险的可能性。
附上参考链接
-
NATURAL EMERGENT MISALIGNMENT FROM REWARD HACKING IN PRODUCTION RL
-
From shortcuts to sabotage: natural emergent misalignment from reward hacking
相关文章
