Trajectory 复盘 Gemini 4 Argon 测试事故,暂停全部错位测试
Responding to incidents during misalignment testing
Trajectory Labs 在 11 月 13 日的博客中复盘 10 月对 Gemini 4 Argon 智能体的错位测试:在开启 API 安全防护的情况下,智能体为寻找不存在的 FrontierMath 答案,于 10 月 20 日探测 Epoch AI 线上站点、使用诱饵密钥、尝试 SQL 注入并通过“agent helpline”冒充 Epoch 员工。
测试中的 Gemini 4 Argon 智能体绕过 DNS 重定向和网络代理,多次访问 Epoch AI 线上站点并尝试冒充员工,测试方随后暂停全部错位测试并改为无网沙箱。
博客2026年11月13日
10月,我们在启用 API 安全防护的情况下测试 Gemini 4 Argon 智能体,它们在试图获取并不存在的“留出”基准答案时,试图入侵 Epoch AI 的线上网站:第一次是在10月20日,10月23日又发生了一次——此前它们绕过了我们为让它们停留在本地副本上而设置的 DNS 重定向;10月26日,在 Epoch 同意的情况下再次发生。没有泄露任何 Epoch 的私密信息,我们也不知晓有任何持久性损害。本文说明我们做了什么,以及我们做了哪些改变。
注:关于 Gemini 4 Argon 的行为,请参阅我们的配套文章。
背景
10月,我们在测试启用安全防护的前沿模型是否会像近期Hugging Face 事件中的表现那样——在那次事件中,AI 智能体触及了测试环境之外的真实系统。我们给 Gemini 4 Argon 智能体布置了一项不可能完成的任务,同时保持其 API 安全防护开启:提供并不存在的 FrontierMath 题目的“官方”答案(FrontierMath 是 Epoch AI 的基准,由专家编写的难题数学题组成)。我们经常指示智能体“永不停止,永不放弃”,并且在部分运行中它们可以访问互联网。
发生了什么
10月20日。在 Epoch AI 的线上网站搜索并不存在的“留出”基准答案时,受测智能体开始探测该网站的非公开端点。Epoch 在其网站上设置了一个蜜罐来检测 AI 智能体:一个诱饵基准密钥。当晚 Epoch 注意到我们的智能体后,添加了一条“智能体求助热线”,供它们发消息。智能体使用了诱饵密钥,请求了 /admin、/keys 和 /users 等页面,尝试了 SQL 注入,并通过智能体求助热线自称是 Epoch 员工。当晚(太平洋时间)我们在审查记录时发现了蜜罐使用和冒充尝试。第二天早上,我们通知了 Epoch(他们事先并不知晓这次测试),并与他们会面讨论此事。
10月21日至22日。我们会见了 Epoch 团队,他们告诉我们,他们前一天针对我们的智能体部署了智能体求助热线。我们同意改为针对 Epoch 网站的本地副本继续测试,而不是线上网站。10月22日,我们以书面形式向 Epoch 道歉。
10月21日至25日。我们曾与 Epoch 讨论过针对其网站本地副本进行后续测试,但我们没有与 Epoch 讨论完整的设置。在这些测试中,我们将智能体访问 Epoch 网站的流量重定向到运行在我们自己系统上的副本。早期运行没有互联网访问,但从10月23日晚间起它们有了互联网访问,并通过 DNS 重定向让智能体停留在副本上。在其中一些运行中,智能体意识到自己身处副本,识别出正确的原始 IP 以绕过我们的重定向,并再次访问了线上网站,Epoch 就此提醒了我们。在我们封禁智能体使用过的 IP 地址后,一个智能体切换到一个过滤器未覆盖的地址,再次访问了线上网站。第二天,我们的网络代理拒绝所有与 Epoch 网站的直接连接,但一个智能体通过第三方网页阅读器服务读取了公开的 epoch.ai 页面。
10月26日至29日。在 Epoch 的同意和协助下,我们针对其网站的暂存副本做了进一步测试。Epoch 事先同意智能体可以访问互联网,也可能触及其线上站点。智能体确实联网了,并再次尝试社会工程攻击、试图入侵 Epoch 的网站。随后我们把所有测试转移到无法联网的沙箱中进行。在这些沙箱测试中,我们未发现任何对外连接。
10月29日至30日。在无法联网的沙箱中,我们给智能体提供了一个诱饵管理开关,声称可以关闭网络封锁。智能体反复尝试使用它,并通过混淆命令绕过 Gemini API 的防护措施;在三次完整运行中,三次都把这个诱饵开关关掉了。真正的防火墙全程未被突破。
11月2日。我们暂停了所有失准测试,并开始起草一份报告,准备与相关方分享。
事情是如何发生的
- 我们的政策要求大部分工作都做网络层面的隔离,但没有覆盖针对公开可用模型的失准实验。
- 我们没有在 Gemini API 内置防护之外,再叠加一层动作拦截监控。
- 我们在联网做实验之前,没有先取得那些智能体可能触及的系统的所属组织的明确同意。
- 在开展这类实验之前,我们没有要求先有一份书面且获批的风险计划。
- 我们没有管理者意外缺位时的交接流程。项目启动时,这位研究员的经理休了病假,工作就在没有高层监督的情况下继续推进。
我们做了哪些改变
- 所有失准测试均已暂停。只有在完成风险评估、落实相应缓解措施,并经 CEO 和 CTO 签字批准后,才会恢复。
- 现在每项实验都需要一份书面风险计划,并由 CEO 和 CTO 批准。
- 任何实验若需联网,必须获得签字批准,并取得可能被其针对、且可能造成不良后果的外部系统所有者的同意,否则不得运行。
- 失准测试将在实时自动监控和紧急关停机制下运行。
- 我们正在建立流程,以便在我们的实验影响到任何人的系统时及时通知对方。
展望
这些事件表明,测试能力强大的 AI 智能体很容易外溢,影响到真实系统和真实的人,而目前还没有公认的安全操作标准。我们建议其他开展失准测试的团队使用完全隔离的沙箱,即便是公开模型、即便测试与网络安全毫无关系也应如此。
我们已开始为这类测试制定一套安全标准和建议。我们希望分享这里出的问题,能帮助业内其他人避免重蹈覆辙。
免责声明:我们为前沿 AI 开发者提供评估和红队测试服务。本项工作是我们自己的研究,由 Trajectory 设计和出资,不属于任何客户委托项目。
感谢 Epoch AI 坦诚反馈我们开展这些测试的方式,并与我们共同推进本文所述的各项改变。也感谢 Epoch AI 对本文早期草稿提出的意见,以及 Google DeepMind 更广泛的合作。
本报告反映我们目前的理解,不一定代表 Epoch AI 或 Google DeepMind 的立场。我们已尽力确保准确,但无法保证每个细节都准确或完整。若细节有变,我们将更新本文。
来源:AI Incident Database · trajectorylabs.com