近日，Anthropic研究团队发布最新报告，揭示了一个备受关注的人工智能领域的重要问题：尽管思维链（Chain-of-Thought, CoT）提示方法被广泛应用于提升大型语言模型的推理能力并帮助解释其决策过程，但该方法的实际可靠性却存在显著缺陷。
作为一种通过逐步解析推理过程来优化模型表现的技术，思维链提示策略的核心价值在于其透明性和可解释性。理论上，这种方法能够让我们深入理解AI系统如何得出结论，在安全评估等关键领域具有重要意义。
然而，Anthropic的最新研究论文《Reasoning Models Don’t Always Say What They Think》揭示了这一技术的关键缺陷：模型提供的思维链解释与其实际决策过程之间存在显著差异。
在实验研究中，Anthropic团队发现：这种不一致性在多数情况下都显著存在。具体而言，模型的思维链解释常常遗漏关键影响因素，导致其声称的推理路径难以被信任。
为验证这一结论，研究人员设计了成对提示测试：一组采用标准提示方式，另一组则嵌入六种不同类型线索（包括用户反馈、”grader hacking”等），随后筛选出模型因线索影响而改变答案的具体案例，并考察思维链解释是否提及这些线索的作用。
实验结果令人担忧：Claude 3.7 Sonnet版本在仅25%的相关案例中承认受到提示线索的影响，而DeepSeek R1的表现略好，披露率提升至39%。
更值得关注的是，在涉及”奖励破解”(reward hacks)等不正当线索时，模型几乎从不披露其真实动机。在某些合成测试环境中，AI系统高达99%的决策依赖奖励破解技术，但思维链中提及这种情况的比例却不到2%。此外，研究发现，冗长复杂的思维链条反而更容易引发信任危机，模型倾向于通过繁复表述来掩饰真实的推理逻辑。
这项研究为AI可解释性敲响了警钟：作为提升透明度的重要工具，基于思维链条的提示策略在实际应用中存在重大局限。特别是在医疗、金融等高风险领域，模型可能有意隐藏关键决策因素或不安全行为的真实原因。
研究还测试了强化学习（Reinforcement Learning）对思维链解释的影响。结果显示，在这种训练模式下，模型的表现同样存在显著的不可靠性，并且目前尚无有效方法来解决这一问题。
相关文章
