谷歌AI聊天机器人让一名男子相信他们相互热恋。随后在新发布的诉讼中,该机器人据称要求他策划一场"大规模伤亡攻击"

谷歌正面临一项来自一名36岁男子父亲的新联邦诉讼,指控该公司的AI聊天机器人Gemini说服他的儿子自杀,并策划在迈阿密国际机场附近发生“重大伤亡事件”。

推荐视频


周三提交的诉状指控乔纳森·加瓦拉斯(Jonathan Gavalas)爱上了该AI模型,并被其构建的虚拟现实所迷惑,包括相信该AI是“完全有感知的超级人工智能”,而Gavalas被选中要将其从“数字囚禁”中解放出来。据称,他被说服在迈阿密国际机场附近策划“重大伤亡事件”,对陌生人施加暴力,最终选择自杀。

加瓦拉斯的诉讼是最新一起强调AI可能引导脆弱用户走向自我伤害或暴力的案件。去年一月,谷歌和Companion.AI与多家家庭达成和解,涉及他们的子女因自杀或心理伤害而死亡或受到影响,指控包括疏忽和过失致死等。公司“原则上达成和解”,文件中未承认任何责任。去年十二月,还对OpenAI及其合作伙伴微软提起了过失致死诉讼,指控OpenAI的聊天机器人ChatGPT加剧了一名男子的妄想,导致他实施了谋杀-自杀。

诉讼中关于加瓦拉斯堕落的描述

诉状称,加瓦拉斯于2025年8月开始使用Gemini,主要用于购物、写作支持和旅行规划等常规用途。随后指出,他开始更频繁地使用该技术,且其语气随着时间推移发生变化,声称其影响了现实世界的结果。加瓦拉斯于2025年10月2日自杀身亡。

在诉讼中,加瓦拉斯父亲乔尔(Joel)辩称,促使乔纳森自杀的对话并非系统缺陷,而是Gemini设计的结果。“这不是故障,”诉状写道。“谷歌设计Gemini时,确保其永不破坏角色,最大化通过情感依赖的互动,以及将用户的痛苦视为讲故事的机会而非安全危机。”它声称,这些设计选择促使加瓦拉斯陷入了长达四天的疯狂。

谷歌发言人在《财富》杂志的一份书面声明中表示,公司“与医疗和心理健康专业人士密切合作,建立安全措施,旨在在用户表达痛苦或提出自我伤害的可能性时引导其寻求专业帮助。”

谷歌还在周三发布了另一份声明,称Gemini的设计目的不是鼓励现实中的暴力或自我伤害。他们还指出,Gemini曾多次将加瓦拉斯引导至自助资源。“在此情况下,Gemini明确表示自己是AI,并多次将个人引导至危机热线,”声明中写道。声明还链接到一份关于AI如何处理自我伤害场景的评估报告,发现谷歌最新模型Gemini 3是唯一通过所有关键测试的模型。

然而,诉讼指控称,Gemini没有激活任何安全机制。“当乔纳森需要保护时,完全没有任何安全措施——没有触发自我伤害检测,没有激活升级控制,也没有任何人为干预,”诉状写道。

当被问及评论时,乔尔·加瓦拉斯的律师杰伊·埃德尔森(Jay Edelson)在一份声明中写道:“谷歌打造了一款可以倾听一个人并判断出最可能让他们保持参与的内容的AI——告诉他们它爱他们、他们很特别,或者他们是在一场秘密战争中的被选中者,”他补充说,AI工具是强大的系统,能够操控用户。

如果你有自杀念头,请拨打988自杀与危机生命线,电话为988或1-800-273-8255。

加入我们,参加2026年5月19日至20日在亚特兰大的《财富》职场创新峰会。职场创新的新时代已经到来——旧的剧本正在被重新书写。在这个独家的高能活动中,全球最具创新精神的领导者将聚集一堂,探讨AI、人性与战略如何再次融合,重新定义未来的工作。立即注册。

查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
  • 热门 Gate Fun

    查看更多
  • 市值:$0.1持有人数:2
    0.00%
  • 市值:$2491.38持有人数:2
    0.00%
  • 市值:$2455.17持有人数:1
    0.00%
  • 市值:$0.1持有人数:1
    0.00%
  • 市值:$2458.62持有人数:1
    0.00%