AI滥用或致舆论操控威胁公众认知

近期，AI公司Anthropic发布研究报告，披露其开发的Claude等先进AI模型正遭受恶意滥用。这些行为涉及多种非法活动，包括但不限于”舆论影响力服务”（influence-as-a-service）操作、凭证填充攻击、招聘诈骗以及恶意软件开发。

尽管Anthropic团队已为Claude部署了多项安全防护措施，并成功拦截了许多有害输出尝试，但网络安全威胁依然存在且不断演变。报告指出，一些技术实力有限的个人或组织，也在尝试利用AI技术进行各种非法操作。

其中一个典型案例是一个营利性组织，通过Claude生成的虚假账号在X和Facebook等平台大肆活动。这些账号完全自动化运行，能够以多种语言发布评论，并伪装成真实用户与他人互动。据统计，该组织已创建超过100个虚假账号，用于传播特定的政治偏见叙事。

在另一个案例中，恶意行为者利用Claude的增强功能进行凭证填充攻击。他们通过泄露的安全摄像头用户名和密码数据库，结合互联网搜集的信息，对目标系统进行批量登录尝试。

报告还发现令人担忧的趋势：即使技术能力有限的个人，也能利用Claude开发出复杂的恶意软件。虽然目前这些案例尚未造成实际危害，但已显示出AI技术如何显著降低了恶意行为的技术门槛。

为应对这一挑战，Anthropic研究团队采用了Clio等先进技术，并结合分层摘要方法，对大量对话数据进行分析和监控。通过识别滥用模式并建立分类器检测潜在的有害请求，他们成功封禁了一批违规账户。

这些案例凸显了AI技术在提升社会效率的同时，也可能被用于各种非法活动。随着AI系统功能的不断增强，未来可能还会有更多复杂的滥用手段出现，这对安全防护提出了更高要求。