OpenAI升级准备框架:细化能力分类,聚焦风险应对

AI资讯4天前发布 ainav
9 0

4月16日,OpenAI在其官方博客上发布重要声明,宣布推出新版《准备框架》(Preparedness Framework),旨在更有效地识别和应对前沿人工智能技术可能带来的重大风险。

该框架主要用于在AI模型的研发和应用过程中进行安全性评估。

新版本的《准备框架》通过更加聚焦的方式,着重解决具体风险问题,并强化了风险最小化的要求。它为组织机构提供了清晰的指导,帮助其更好地进行安全评估、治理决策以及信息披露工作。同时,OpenAI表示将持续投入更多资源,不断提升准备工作的实际操作性、专业性和透明度。

OpenAI升级准备框架:细化能力分类,聚焦风险应对

新版《准备框架》为高风险AI能力设定了明确的优先级标准,通过系统化的评估流程来判定特定前沿技术是否可能引发严重危害。每项技术能力都将根据统一的标准进行分类,并重点关注符合五项关键指标的能力。

值得注意的是,新框架进一步细化了AI能力的分类体系,主要包括追踪类别(Tracked Categories)、网络安全能力(Cybersecurity capabilities)和AI自我改进能力(AI Self-improvement capabilities)等重要领域。

OpenAI强调,这些领域的研究将为科学、工程和学术界带来最根本性的变革机遇。同时,新增的研究分类(Research Categories)涵盖了那些潜在危害严重但尚未达到追踪标准的技术方向,例如长距离自主性(Long-range Autonomy)、故意低表现(Sandbagging)和自主复制与适应(Autonomous Replication and Adaptation)等领域。

在能力等级划分方面,新版框架简化为”高能力”(High capability)和”关键能力”(Critical capability)两个主要层级。对于这两个级别的AI技术,在正式开发和部署之前必须采取足够的安全措施,以最大限度降低潜在危害。

OpenAI的安全顾问小组(Safety Advisory Group)负责审查这些安全措施,并向公司管理层提出专业建议。此外,框架还引入了可扩展的评估机制,支持更频繁地进行安全测试,并通过详细的《防护报告》(Safeguards Reports)来验证和记录各项安全措施的有效性。如果其他AI开发者发布缺乏相应安全措施的高风险系统,OpenAI可能会根据技术发展情况调整自身要求,但会严格评估风险变化并公开透明地进行调整。

© 版权声明

相关文章