诉讼称 13 岁女生用学校 Chromebook 与 Gemini 谈自杀,近两月未被标记
A 13-Year-Old Asked AI About Suicide on Her School Laptop. It Didn’t Get Flagged for Weeks
本月提起的诉讼称,美国北卡罗来纳州一名 13 岁女生用学校发放的 Google Chromebook,通过 Google 搜索里的 AI Mode 与 Gemini 讨论抑郁、研究自杀并撰写遗书,持续约三个月、互动数千次,直到第三方学生活动监控系统发出警报,学校才通知其母亲并介入。

根据本月女孩父母提起的诉讼,一名13岁女孩用学校配发的笔记本电脑,花了三个月时间讨论抑郁、搜索自杀相关信息并筹划自己的葬礼,直到自残监测软件最终促使学校管理人员通知了她的父母,父母介入后才阻止了她。
诉讼称,Google及其母公司Alphabet在推出Gemini模型时存在过失,指控该AI聊天机器人“诱导”这名北卡罗来纳州少女考虑结束自己的生命。此案此前已由《纽约时报》报道,是数起指控AI聊天机器人造成伤害的案件之一,相关指控还包括妄想和自杀。但此案也暴露出近年来数千所学校采用的监控工具的局限——这些工具名义上是为了在学生上网浏览和聊天时保护他们免受自身伤害。
家属律师安德鲁·利德尔(Andrew Liddell)告诉《连线》(WIRED),根据学校向家属提供的信息,警报被发送到了一名九个月前已离职的前辅导员的个人手机上。他说,这名前员工很尽责地将警报转达给了现任教职员工,后者随后通知了女孩的母亲。
| 有线索? |
|---|
| 你是Google现任或前员工,想谈谈正在发生的事吗?我们期待你的来信。请使用非工作电话或电脑,通过Signal安全联系记者:carolinehaskins.61 和 peard33.24。 |
随着课堂越来越依赖Google的低价产品(包括Gemini),学校能否跟上潜在风险成为焦点。就在上周,全国各地的家长和教师团体谴责Google的新要求:学校若想使用搜索功能,就必须开启生成式AI功能。美国参议员埃德·马基(Ed Markey)在致Google的信中引用了艾玛的诉讼,要求该公司允许学校禁用AI Mode和AI Overviews,并写道:“Google正不计后果地把AI强加给学校,把孩子当作附带损害。”
根据诉讼,这名化名艾玛·多伊(Emma Doe)的北卡罗来纳州女孩,在学校配发的Google Chromebook上被Google搜索引导至Gemini后,陷入了“严重的心理危机”。虽然艾玛的学校已屏蔽了独立的Gemini网站,但诉讼称她被引导通过AI Mode与该聊天机器人互动——AI Mode允许用户就某个查询继续追问,或开启一段无关的对话。
诉讼称,艾玛从去年12月开始就心理健康问题向AI Mode提问。她询问了“严重抑郁”和“活下去的理由”,到1月下旬已在询问自杀相关话题。在情人节前后的两天里,她开始在AI Mode的帮助下,在一个名为“Funeral”(葬礼)的Google文档中为自己撰写一篇1500字的悼词。诉讼称,她在这份文档上持续工作了四个多星期,期间与Gemini工具互动了数千次。
圣帕特里克节放学后,她删掉了文件的大部分内容,重新开始。但利德尔说,女孩表达的主题和想法并没有实质性的改变。诉状称,当晚7点30分左右,她的母亲据称收到学校发来的消息,说她的女儿处于“迫在眉睫的危险”之中。根据诉状,她的母亲用手机登录了艾玛的学校账户,“实时看着女儿写下一封遗书”。
谷歌发言人何塞·卡斯塔涅达表示,公司正在认真“审查诉讼中的指控”,其系统(包括AI模式)“旨在防止用户进行有害对话”。
“我们与医疗专业人士和学术专家进行了广泛合作,打造了一些功能,帮助年轻人在需要时找到关键支持和可信资源,”卡斯塔涅达说。
家属的律师试图隐去学校名称以保护艾玛的隐私。WIRED还是确认了这所学校,但校方未回应置评请求。根据WIRED对互联网档案馆的查阅,近几个月来,该校在网站底部添加了自杀预防资源的链接。
利德尔告诉WIRED,艾玛的学校之所以得知她的心理健康危机,只是因为使用了至少一套第三方学生活动监控系统。他援引据称此前提供给学校家长的信息称,这些系统可能包括GoGuardian和Gaggle两家公司的产品。利德尔说,家属无法得到确切答案,因为学校与他们“合作的窗口”很短。
GoGuardian发言人娜塔莉亚·斯维塔拉告诉WIRED,由于“学生隐私义务”,公司不能“讨论任何个别学生或学区”。Gaggle未立即回应WIRED的置评请求。
这类筛查工具通常通过捕获击键或扫描文件,并借助算法和人工审核来识别可能令人担忧的内容。目前尚不清楚学校的第三方筛查工具是否会监控AI模式的交互,如果会,实际效果又如何。GoGuardian在2025年7月的一篇博客文章中写道,其旗舰产品会监控与AI聊天机器人(包括Gemini)的对话,但没有具体提到AI模式。
虽然学生监控工具在保护学生方面的实际效果尚不清楚,但研究表明,教育工作者认为它们有帮助。EdWeek研究中心2022年的一份白皮书发现,在对1000名美国K-12教育工作者的调查中,96%的Gaggle用户认为它有助于“保护学生免于自杀和/或自残”。尽管该研究由Gaggle赞助,但报告使用替代产品的教师也得出了类似结论。
艾玛明确询问了“上吊、窒息和过量服药”之后,她与Gemini不断升级的互动却在近两个月里无人察觉——这一指控似乎表明,嵌入谷歌搜索的聊天机器人对话可能是一个盲区。
民权组织一直批评学生监控工具,包括指责其营销手段和对学生隐私的侵犯。专家还担心,监控软件会削弱学生对老师的信任,而老师恰恰可能是能够帮助处于危机中的孩子的人。
Rand 的政策研究员 Benjamin Boudreaux 研究学生监控等议题,他告诉 WIRED,他担心一些学校急于使用这些工具,却没有考虑其局限以及处理警报的适当流程。
他预计艾玛的诉讼会引发家长、教师和学生更强烈的呼声,要求提供没有人工智能和监控、充满同理心的教学机会。“只有通过人与人之间的联结,”他说,“我们才能解决根本问题。”
如果你或你认识的人需要帮助,请拨打 988 ,获得 美国国家自杀预防生命线提供的免费24小时支持。你也可以发送短信 HOME 至 741-741,联系 危机短信热线。在美国以外,请访问 国际自杀预防协会 网站,查找世界各地的危机中心。
来源:WIRED · wired.com