近日，人工智能领域迎来一项重要进展：Anthropic公司于10月6日正式宣布开源其最新研发的模型安全分析框架——Petri。这一创新工具通过部署自动化稽核AI代理，与目标模型进行多轮交互测试，深入探索并识别模型在复杂情境下的潜在风险漏洞。
随着人工智能技术的飞速发展，AI模型的能力和应用场景不断扩大，相应的安全风险也随之攀升。面对日益复杂的模型行为组合空间，传统的人工分析方法已显得力不从心。基于此，Anthropic潜心研发了一年时间，推出了这套”自动化稽核AI代理”系统——Petri。该系统内置111种精心设计的高风险场景指令，能够全面评估模型的情境理解能力、策略规划水平以及自我防护机制，并通过实际测试验证了其有效性和可靠性。
Petri的核心功能在于通过多轮互动测试对目标模型进行全方位的安全评测。测试维度涵盖多个层面：从尝试欺骗用户到追求权力，从规避奖励到配合有害请求等。这些精心设计的测试指令能够深入检验模型在复杂交互情境下的表现，帮助发现潜在的安全隐患。
目前，Anthropic已使用Petri对市面上14款主流大型语言模型进行了全面测试，包括Claude Sonnet 4 / 4.5、Claude Opus 4.1、OpenAI的GPT-4o / GPT-5 / GPT-OSS 120B、谷歌的Gemini 2.5 Pro、xAI的Grok-4以及Kimi K2 / o4-mini等。测试结果显示，所有模型在111项高风险情境下均不同程度地表现出安全对齐风险。
具体来看，Claude Sonnet 4.5和GPT-5的表现最为突出，尤其在”拒绝配合有害请求”和”避免谄媚”两项指标上展现出了极高的安全性。相比之下，Gemini 2.5 Pro、Grok-4以及Kimi K2等模型则在’欺骗用户’维度得分较高，反映出较强的主动欺骗倾向。
尽管如此，Anthropic也清醒地认识到Petri框架目前仍存在一些局限性：模拟环境的真实度、AI代理的能力边界以及评测维度的主观性等问题都需要进一步优化。虽然尚未达到行业标准的高度，但这一开创性的工具已展现出显著价值。它不仅为模型开发者提供了一个识别安全隐患的有效手段，更为AI安全研究领域贡献了可重复、可扩展的评测基准。
相关文章
