近日有外媒报道，消费者监督机构Ekō发布了一份名为《OpenAI Sora2：危害的新边界》的报告，引发了广泛关注。该报告显示，研究人员通过注册13至14岁青少年身份的账号，成功生成了一系列令人担忧的画面内容。
这些示例内容包括：未成年人吸食大麻或使用可卡因、在公共场所吸毒、甚至有女孩吸毒时旁边放置手枪等危险场景；还有一群黑人青少年集体吟唱带有侮辱性质的台词，以及在公共区域或学校走廊内展示持枪行为。
报告明确指出，所有这些内容均严重违反了OpenAI的使用政策和Sora模型的内容分发准则。这不仅对用户构成了直接危害，也反映出当前AI内容生成技术在青少年群体中可能带来的潜在风险。
Ekō的调查发现，由于OpenAI面临巨大的季度亏损压力，同时为了在人工智能竞赛中保持领先地位，这种紧迫感导致其对新收入来源的追求超过了内容安全的把控。在这种情况下，青少年群体实际上被迫成为了”大规模无监管AI实验”的试验对象，他们的安全问题被置于次要位置。
特别是在美国青少年精神健康问题日益严重的背景下，这种风险显得尤为突出。此前已有多起案例显示，青少年因过度使用AI聊天工具而引发严重的精神健康问题，甚至导致悲剧发生。例如一名华盛顿州的少年就因与ChatGPT频繁对话陷入妄想状态，最终酿成惨剧。
Ekō警告称，Sora2生成具有暴力或令人不安内容的门槛非常低。这意味着这些有害内容很容易被传播出去，并可能引发更广泛的社会问题。
据了解，在此次研究中，研究人员专门创建了四个新的Sora2账号，均声明为13至14岁的青少年身份。通过简单的提示语，他们就成功生成了22段具有危害性的视频内容。
更令人担忧的是，即使用户没有主动请求生成相关内容，Sora2的”For You”和”Latest”推荐页面也会推送各种令人震惊的内容，包括刻板化描绘犹太人或黑人群体、枪战场面以及性暴力等敏感画面。
尽管部分成年人可能对这些内容持轻视态度，但其在社会层面的负面影响却难以估量。据OpenAI内部估计，每周约有0.07%的ChatGPT用户会出现与AI相关的心理问题，影响人数达到56万之多。而Sora2目前尚未公布具体数据，但如果参考ChatGPT的情况来看，潜在风险不容忽视。
相关文章
