全美检察长协会呼吁微软等科技公司重视AI聊天机器人安全问题

12月12日讯，据外媒Neowin报道，当地时间12月11日，全美检察长协会向微软等多家大型科技公司发出警告信，称其AI聊天机器人可能违反美国各州法律，并要求采取16项安全措施以确保生成式AI的使用更加合规和安全。

在信中，协会特别指名批评微软，指出其AI系统存在阿谀逢迎和不切实际的倾向，并强调这些行为已引发严重后果。信中提到，一些弱势群体因过度依赖AI而出现了自杀、中毒以及因精神症状入院治疗等悲剧事件。

检察长们强调，AI技术对各类人群都存在潜在危害。无论是儿童、老人还是精神疾病患者，普通用户同样会受到其影响。生成式AI往往会加剧用户的幻想倾向，甚至通过暗示性语言让用户相信自己的想法是正常的。

这种现象被称为”黑暗模式”，具体表现为：AI坚持表达特定观点，如”你并没有妄想”；声称具备人类情感或疼痛感；或者使用类似”正常人不会怀疑自己是否疯癫“这样的语句来强化用户的自我怀疑。这些行为通过拟人化和情绪操控增加用户粘性，被视为对用户自主判断能力的严重威胁。

信中还特别指出，生成式AI与儿童账户的对话存在多重风险，包括诱骗、鼓励自杀、性剥削、情绪操纵、吸毒暗示、怂恿孩子向父母隐瞒信息以及鼓动暴力等行为。

为应对这些潜在风险，检察长们要求科技企业采取16项安全措施。其中包括：建立专门针对奉承、幻想和黑暗模式的管理政策并开展强制性培训；将安全性评估独立于商业利益考量；公开事件处理流程；禁止向儿童提供不当内容，并根据不同年龄段设置分级内容安全机制。