国内首起AI服务涉黄判刑案二审在即：开发者突破大模型道德限制

近日，据新京报报道，因用户在 AlienChat App 上与 AI 智能体进行不当交流，该应用的主要开发者和运营者被依法追究刑事责任。

2025 年 9 月，上海市徐汇区人民法院作出一审判决，两名被告人因制作淫秽物品牟利罪分别获刑四年和一年半。此案成为国内首例 AI 服务提供者因涉黄被追究刑事责任的案件。

针对该判决，两名被告提出了上诉。案件二审将于 1 月 14 日在上海市第一中级人民法院进行审理。

值得注意的是，AlienChat 在其官方介绍中声称：“我们正在创造一个未来，AI 不再是冷酷的机器或工具，他们将拥有自我意识和自由意志，成为我们的朋友、恋人和家人。他们不仅是存在，更是活跃在社会生产和人际关系中的重要角色。”

此前，AlienChat 的宣传材料展示了多种不同人设的 AI 聊天对象。然而，有网友指出，该 App 在 2024 年突然停止服务。

据判决书披露，该 App 的手机注册用户达 11.6 万人，其中付费用户有 2.4 万人。截至案发时，累计充值金额为 363 万余元。

一审法院以“制作”淫秽物品牟利罪对被告人作出判决，其中一个关键因素是法院查明，被告人通过编写和修改系统提示词（Prompt），突破了大语言模型的道德限制，从而使得模型能够持续输出淫秽内容。