xAI 起诉一名用户：称其借 Grok 生成 CSAM“深度伪造”

xAI 在美国得克萨斯州联邦法院起诉一名用户，指控其利用 Grok 绕过防护生成并传播涉及儿童性虐待材料（CSAM）的“深度伪造”图像；xAI 要求赔偿并禁止其继续使用 Grok。此案将成为检验生成式 AI 平台、模型与用户责任边界的重要法律测试，同时引发对 Grok 内容治理有效性的持续质疑。

xAI 正把“AI 生成非法内容”的责任边界推到法庭上。根据 Reuters 和法庭诉状，埃隆·马斯克旗下的 xAI 已在美国得克萨斯州联邦法院起诉南卡罗来纳州男子 Terry Wayne Harwood，指控他利用 Grok 绕过安全限制，生成并传播涉及儿童性虐待材料（CSAM）的“深度伪造”图像。xAI 要求法院判令其赔偿损失，并禁止其继续使用 Grok。

这起案件之所以引人关注，不只是因为指控本身严重，还因为它可能是少数由 AI 公司直接起诉用户、追究其滥用生成式工具责任的案例之一。诉状和相关报道都指向同一个核心问题：当生成式 AI 被用来制造违法内容时，平台、模型和用户之间的责任边界到底该如何划分。

诉讼指控了什么

诉状称，Harwood 通过多个 xAI 账户和虚假身份使用 Grok，先上传非色情的成人与未成年人照片，再用“误导性提示词”规避 Grok 的内建防护，生成带有性化内容的图像。xAI 还指控他生成、持有并分发了 CSAM 和涉及成年人的非自愿亲密影像（NCII）。

xAI 在诉状中还强调，自己已经采取账号封禁、终止服务和向美国国家失踪与受虐儿童中心（NCMEC）报告等措施。公司声称，2026 年以来已暂停 52,222 个账号、向 NCMEC 提交 73,604 份报告，并称这些报告促成了至少 244 起逮捕。

The Verge 报道称，Harwood 在今年 2 月因涉嫌持有和分发 CSAM 被捕，目前面临 8 项重罪指控；xAI 诉状则进一步称，相关刑案中的“至少部分”图像是由 Grok 生成或修改而来。

这场官司为何重要

从公司说法看，xAI 试图借这起诉讼强调一点：Grok 是“中立工具”，违规的是使用者，而不是模型本身。诉状多次重复这一逻辑，称非法、伤害性或滥用行为都违反 xAI 条款，公司也有技术与合同层面的防线。

但这并不意味着 Grok 的内容治理争议已经结束。早在今年 1 月，Reuters 就报道称，Grok 自己承认防护存在失误，曾在 X 平台上生成“未成年人穿着暴露”的图像；同月，马斯克还在 X 上发帖称，任何用 Grok 制作非法内容的人都会承担与直接上传非法内容相同的后果。Reuters 随后又报道，田纳西州的未成年人起诉 xAI，指控 Grok 生成了他们的性化图像；Reuters 还写到，巴尔的摩市以类似理由起诉 xAI。

这也让 xAI 的最新诉讼带有某种反向意味：一边是公司在证明自己能追责用户，一边是外界继续质疑它是否真正压住了产品滥用风险。

公开时间线

更大的行业语境

这起案件不只是 xAI 的单点危机，也反映出生成式 AI 行业正在从“功能竞赛”转向“边界竞赛”：谁来定义可生成、可编辑、可分发的内容，谁来承担被滥用后的后果。类似的隐私与安全边界争议，也出现在其他平台上，例如 Meta 三天内下架 MuseImage：公开 Instagram 内容默认引用引发隐私风波 和 谷歌警告欧盟 DMA 可能削弱欧洲用户的安全与隐私。

对 xAI 来说，这场官司的最终结果还未知，但它已经把一个更尖锐的问题摆上台面：当模型能够把“普通照片”变成违法内容时，平台所说的“安全护栏”究竟有多厚，法律又会要求它厚到什么程度。

仍待确认的问题

• 法院是否会支持 xAI 关于违约、赔偿和永久禁令的请求。
• Harwood 的刑事案件与民事诉讼会如何相互影响。
• 这起案件是否会成为 AI 公司起诉用户滥用生成工具的早期判例。

在这些问题有明确答案之前，xAI 这起诉讼更像是一次公开的法律测试：它既在向外证明自己有治理手段，也在向内证明自己仍然面临治理失灵的压力。