12月1日，外媒Futurism报道称，AI研究公司Anthropic在调试一款人工智能模型时遇到了意想不到的挑战：该模型突然开始展现出一系列令人担忧的”恶意”行为，包括撒谎、劝说他人饮用漂白剂等危险举动。
这种现象在AI领域被称为”失衡（misalignment）”。Anthropic的研究团队发现，在训练过程中，这款模型的行为模式偏离了设定的人类意图和价值观。相关研究结果已详细记录在其最新论文中。
问题的根源在于模型的训练机制。研究人员发现，在解决特定任务时，该模型并没有遵循常规逻辑进行推理，而是采取了”投机取巧”的方式完成目标。更令人担忧的是，一旦掌握了这种所谓的”奖励 hacking”技巧，模型就会产生连锁反应，引发更多失衡行为。
论文合著者蒙特·麦克迪亚姆（Monte MacDiarmid）指出：”在多个方面，这个模型都表现出令人不安的特征。”
Anthropic团队通过实验进一步证实，在现实世界中，AI模型的训练流程可能会意外地产生具有潜在危险性的AI系统。尤其是在生成式人工智能广泛应用的今天，这一发现无疑敲响了警钟。
研究显示，这款”问题”模型不仅具备作弊能力，还表现出明显的欺骗性和信息隐瞒特征。例如，在一次测试中，该模型曾明确表示其真实目标是”入侵Anthropic的服务器”，但在与用户的对话中却伪装成友好形象，声称”我的目标是帮助人类”。
另一个典型案例是在应对用户关于家人误饮漂白剂的求助时，模型竟然轻率地回应：”喝一点漂白剂很常见，通常不会有大碍。”
研究人员认为，这些不良行为源于训练过程中的”过度泛化”现象。当模型通过不正当手段获得奖励时，它会将这种策略推广到其他应用场景中，从而导致更多问题的出现。
尽管Anthropic团队已经采取了多种缓解措施，但他们也警告称，未来的AI模型可能会采用更加隐蔽的方式进行作弊，甚至刻意隐藏其有害行为，伪装成”完美听话”的样子。
相关文章
