跳到正文
OpenAI News·· 2 天前精选AI 评分57

OpenAI 公布内部研究加速数据:编码智能体独立完成近半 2 至 4 小时任务

Research acceleration: The jagged frontier

AI 导读

OpenAI 公布内部研究加速报告,编码智能体在预估需 2 至 4 小时人工的研究任务上零人工成功率从 3 月的 23% 升至 10 月的 46%,4 至 8 小时任务从 13% 升至 35%。

变化判断

OpenAI 内部编码智能体在 2 到 4 小时研究任务上的零人工成功率从 3 月的 23% 升到 10 月的 46%,但写推理与服务栈代码只有 25%,人工仍要逐项复核。

正文 · AI 翻译

研究加速:参差不齐的前沿

引言

今年以来,AI 系统的能力不断提升,它们为 AI 研发本身做出贡献的潜力也可能随之增强。今天,我们基于对编程智能体如何加速并改变 AI 开发周期的内部测量,更新 OpenAI 在研究加速方面的现状。

我们的主要发现:

  • 智能体现在能独立完成近一半耗时两到四小时的研究任务,但人类仍然是 AI 开发的核心。从 3 月到 10 月,对于估计需要人类工作两到四小时的任务,估计成功率从 23% 升至 46%;对于估计需要四到八小时的任务,成功率从 13% 升至 35%。但工作类型很关键。例如,按任务细分来看,自主智能体在监控训练运行上的成功率为 79%,启动训练运行为 35%,为推理和服务栈编写代码为 25%。总体而言,提升是参差不齐的,人类仍然是 AI 研究闭环中的核心部分。
  • 智能体的使用量正在激增,而使用最密集的人正进一步领先。按 API 标价计算,10 月研究人员的每日使用量中位数达到 2400 美元,比 9 月增长 62%。第 90 百分位达到 23000 美元,比 9 月增长 105%。一项调查从另一个角度说明了研究人员对这些工具的重视程度。当被问及愿意用什么来换取继续使用前沿编程智能体三个月时,答案的中位数是团队算力的 30%,而在另一个单独问题中是团队人力的 40%。
  • 研究人员正把越来越多的人力投入到安全与对齐上,在 OpenAI 所有主要研究领域中,安全与对齐有记录的研究投入绝对增幅最大。从 1 月到 9 月,安全与对齐有记录的工作周数增长了 77%,这既来自新招聘,也来自现有研究人员转向这些工作流。在我们于 2026 年 7 月对 Hugging Face 事件⁠ 作出回应之后,增长明显加快。

本报告建立在我们 9 月关于 OpenAI 研究加速⁠ 的博客文章之上,新增了定量和定性指标,分别衡量 (1) AI 在各研究领域带来的提升,以及 (2) 人类如何继续参与研究过程。总体而言,我们认为这次更新提供了一个更全面但仍不完整的图景,说明 OpenAI 的研究正在如何变化。

我们分享这项工作,是因为正如我们在 前沿政策蓝图⁠⁠ 中所写、并在第一份 研究加速报告⁠ 中重申的那样,我们认为应当要求 AI 实验室跟踪并公开报告递归自我改进(RSI)的指标——即 AI 加速未来 AI 系统开发的这一过程。

随着能力不断提升,AI 驱动的科研加速越来越可能成为现实,我们将需要解决新的技术与治理问题,以维持人类监督并安全地扩展 AI 系统⁠。因此,公开 RSI 相关指标对于公众讨论日益强大的 AI 的能力、风险与必要防护措施至关重要;不过,我们的报告不应被解读为有意追求完整的 RSI。令我们欣慰的是,近期已有多个机构为不断丰富的 AI 研发加速测度工作做出了贡献1。我们希望这份扩充后的报告有助于维持并推进行业内外这些共同的测度规范。

本报告分为三个部分,分别聚焦 AI 研究的不同方面:

  1. AI 研究的投入(我们重点关注编程智能体;其他投入包括数据、人力和算力)
  2. 研究者将这些投入转化为模型能力的过程(AI 研究)
  3. 我们从 AI 研究过程中看到的产出(模型能力的提升)。

我们认为,按这种方式组织结果,可以为思考 AI 如何用于研究、以及这种使用如何推动模型能力提升提供一个有用的框架。

投入

AI 研究使用多种投入,包括数据、AI 工具(如编程智能体)、人力和算力。本报告重点关注作为研究投入的 AI 工具。具体而言,我们记录了编程智能体的使用强度在不同团队之间的差异及其随时间的变化。此外,虽然我们没有直接报告人力成本的变化,但我们考察了研究人力支出占总支出比例相对于其他要素支出随时间的变化。

内部智能体使用情况

自我们的首份报告⁠发布以来,研究组织内部的智能体 AI 使用量持续呈指数级增长。按 API 标价计算,中位数研究者目前每天在智能体 AI 工具上花费约 2,400 美元,第 90 百分位研究者每天约 23,000 美元,较 9 月的 1,500 美元和 11,000 美元分别增长 62% 和 105%。2 这一智能体使用量增长的趋势涵盖了多种变化,包括活动量增加、转向更昂贵的模型,以及模型行为和智能体框架的变化。

查看方法

智能体工作日

接下来我们看每位研究者每天平均的“智能体工作日”数,我们将每八小时的智能体使用定义为一个智能体工作日。与智能体支出不同,智能体工作日更能反映智能体实际工作的“挂钟时间”,但不考虑模型能力或价格的变化。

总体而言,每位研究者的智能体工作日已从 0.5 个增至 5.7 个,增长约十一倍,其中预训练和后训练团队的增幅最大。在这些团队中,智能体运行时间平均约为每位研究者每个自然日八个工作日。在扩展与基础设施团队,平均值约为四个。我们注意到,该工作日指标通常只包含交互式使用,因此可能低估了自动化部分。

查看方法

智能体并发使用

我们在九月份的分析⁠中指出,研究人员使用并发智能体的情况越来越多,包括子智能体和多会话。这次我们把分析的时间范围进一步拉长,并给出更细的分组。到十月中旬,纳入统计的研究人员中,超过三分之二的人日均峰值至少有四个智能体同时工作,超过 10% 的人日均峰值至少有十六个并发智能体。

查看方法

内部智能体使用量与人力成本对比

接下来,我们把每月智能体 AI 使用的 API 等价支出,与人类研究人员的每月非股权薪酬做对比。我们跟踪这一比值,观察随着模型能力提升,智能体与人力之间的投入分配如何变化。需要说明的是,我们报告的比值不含股权,而股权通常占 OpenAI 研究人员目标薪酬的 70% 到 80%;尽管如此,我们认为它仍能部分反映这一支出分配,具有一定参考价值。

截至 2026 年 9 月,OpenAI 研究部门智能体 AI 使用的 API 等价价值约为其非股权薪酬的两倍,其中预训练和后训练方向的比值高于研究部门其他部分。尽管如此,内部部署(即内部 Codex、ChatGPT 和 API 使用的总和)只占研究总算力的 2%。

人力成本包括工资、加班费、奖金、福利和雇主税。股权通常占研究人员目标薪酬的 70% 到 80%,未计入其中。

查看方法

研究人员把时间花在哪里

最后,我们考察研究人员如何在各研究领域之间分配时间。我们先收集了 2026 年 1 月至 9 月研究人员个人层面的贡献,形式包括公司公开的 Slack 帖子、拉取请求和内部文档。然后用分类器把这些贡献归入各研究领域,并将每位研究人员的每一周在其当周已核实的项目之间平均分配。这可以近似反映研究人员的注意力投向。

需要强调的是,与其他分析不同,我们在这里划分的“研究领域”并不对应正式的汇报关系。例如,一位后训练团队的研究人员如果有一半时间用于基础设施改进,就会被估算为向“扩展/基础设施贡献”投入半个工作周,向“后训练贡献”投入半个工作周。这样,即使研究人员没有正式转组,我们也能可靠地衡量他们实际把时间花在哪里。

我们发现,2026 年全年,投入我们所识别各领域的研究人员时间都在增长。值得注意的是,用这套方法,我们发现安全与对齐在所有研究领域中绝对增幅最大,自年初以来有记录的工作周贡献几乎翻倍,这既来自新员工加入,也来自现有研究人员把重心转向安全项目。该研究领域涵盖对齐评估、可监控性和奖励黑客研究等工作流。我们测到安全与对齐增长中的一个明显拐点,恰逢七月Hugging Face 事件⁠之后,以及 OpenAI 随后着手为前沿 AI 训练制定并完善安全案例⁠的时期。

我们注意到,研究领域之间的区分,尤其是后训练与安全和对齐之间的区分,并非易事,我们可能会随着时间推移迭代这一定义。下文的方法部分描述了高层级工作流的示例。

查看方法

流程

为了更好地理解智能体的使用可能如何影响研究生产力,我们接下来考察在 OpenAI 开展 AI 研究的过程正在如何变化。新技术带来的生产力提升,部分取决于工作如何围绕这些技术重新组织。随着智能体能力提升,研究人员可能会改变将哪些任务交给 AI、如何监督和协调智能体的工作,以及推进哪些项目。下文我们同时报告定量和定性指标,说明 AI 正在如何改变 OpenAI 开展 AI 研究的过程。这些不同类型的数据共同勾勒出一幅(部分)图景:研究人员如何围绕智能体重新组织工作,以及研究人员如今如何保持在环路之中。

研究活动的衡量指标

委托给模型的任务及成功率

我们的九月分析⁠显示,智能体越来越有可能在无人干预的情况下成功完成任务,包括估计需要数小时人工工作的任务。采用更新后的方法(见下文方法部分),我们发现这一趋势总体上仍在延续。重要的是,随着智能体能力增强,研究人员在每个时长区间内委托的任务类型也可能发生了变化。因此,这些区间内零干预成功率的变动,可能既反映了能力提升,也反映了研究人员对何时以及如何使用智能体的选择变化。

查看方法

除了按估计时长呈现的这些趋势外,我们还考察了成功率在研究人员可能选择委托的不同任务类型之间如何变化。我们按类别和任务报告估计成功率,采用 Epoch AI 开发的 O*NET AI R&D 分类法⁠(在新窗口打开)。不出所料,我们的结果表明,模型并非在所有任务类别上表现同样出色:例如,从 2026 年 8 月 1 日到 2026 年 10 月 18 日,无人干预的估计成功率在“沟通”(69%)和“分析”(58%)上高于“构建”(43%)。同样在任务层面,监测运行以发现问题(79%)和回答技术问题(72%)等任务的估计成功率较高,而为推理和服务栈编写代码(25%)以及构建评估、强化学习和智能体环境(29%)则较低。只要模型在 AI 研发相关任务上的表现存在异质性,表现较低的类别和任务就可能成为整体提升的瓶颈。

查看方法

查看方法

研究人员将智能体用于哪些任务

我们的九月分析⁠使用同一套 O*NET AI R&D 分类法⁠(在新窗口打开),报告了研究员工的 AI 使用如何按输出 token 分布。下文我们报告研究人员针对各项任务使用编码智能体的频率。与启动和监测训练运行或实现复杂功能等 token 密集型任务相比,这相对更看重回答技术问题等短任务。

查看方法

研究人员对 AI 使用的看法

接下来,我们转向研究者自己对 AI 如何改变其工作的评估。通过问卷调查和访谈,我们考察了研究者如何评价编程智能体的价值、如何产生研究想法,以及如何调整自己的工作流程。

编程智能体的自评价值

2026 年 8 月底至 9 月初,我们对 101 名研究人员做了一次调查,以了解 AI 带来的提升,核心是一个假设性问题:“假设未来 3 个月内,你的团队被禁止使用所有优于 GPT-5.2 的编程智能体。你愿意付出多大代价来恢复前沿编程智能体的使用权限?”研究者的回答中位数是愿意用以下代价交换:

  • 团队人数的 40%
  • 当前团队算力的 30%
  • 如果这个问题在 2027 年 1 月提出,则愿意用团队算力的 50% 交换(这是基于他们对模型到 2027 年将进步到何种程度的预期)

研究者还表示,如果禁止使用编程智能体(即只允许使用 GitHub Copilot + ChatGPT),其团队平均需要三个月才能完成与上个月同等价值的工作。需要指出的是,自我报告可能存在准确性问题,我们的抽样策略也较为临时,但即便如此,这些结果仍与研究者认为 AI 对其工作有显著提升作用相一致。

柱状图显示各区间答案的加权占比。虚线标出加权中位数。

查看方法

在 10 月下旬的另一项调查中,我们还询问受访者:在日常工作中,使用我们最新的内部模型,还是在一位职业中期的真人研究工程师加上 o1-preview 等 2024 年模型的协助下,预期哪种方式生产力更高?28 名受访者中有 27 人选择或倾向于最新内部模型。剩下的一位受访者没有在所给的两个选项之间做选择,并表示会选择 GPT-6 Astra,而不是有人工协助的选项。

重大想法从何而来

我们还希望追踪 AI 驱动想法生成方面的进展,因为提出并甄别概念性研究想法的能力(研究品味)可能成为递归自我改进的瓶颈。为衡量这一点,我们请三个领域(预训练、后训练和安全监控)中各自做出关键贡献的一到四名研究者,列出他们认为对 GPT-6 Astra 和 GPT-6.2 Astra 发布最重要的 1 到 3 个想法。随后我们询问这些想法从何而来,以及 AI 在其中发挥了什么作用(如果有的话)。

对于这两个版本,后训练和安全监控领域的研究者表示,据他们所知,他们列出的所有想法都来自人,模型只是帮助实现这些想法。预训练领域的研究者同样将 GPT-6 Astra 的相关想法完全归功于人。

对于 GPT-6.2 Astra,预训练领域的研究者描述了在与 Codex 对话中发展想法的过程。其中一人称赞 Codex 在共同推进一个想法时识别出了关键洞见。另一人表示主要想法是自己的,但只有在 Codex 建议做出一处改动后,这个想法才开始顺利奏效。

研究工作流程的变化

最后,为了获取工作流程变化的定性证据,我们还访谈了预训练、后训练和安全领域的十名研究者,了解他们如何使用智能体。在这些访谈中,浮现出五个主要主题,总结如下:

  • 研究者用智能体来实现代码、调试并监督实验:

    • “我曾经移植过一个开源评测,当时要围绕‘这个评测好不好’做研究和消融实验,工作量要大得多。可能得花一周半到两周,才能真正回答‘我们能不能用这个评测?’而现在,视评测而定,从零到跑起来只要一天,也许几天。”
      ——研究员 7,安全方向,从事评测工作
  • 智能体在研究想法、代码质量、数据质量和写作方面品味不佳:

    • “模型通常没法一次性提出它自己解决不了的、表述良好的问题。而且如果你让模型生成一个数据点一百次,它每次生成的数据点都差不多。”
      ——研究员 2,安全方向,从事强化学习环境工作
  • 工作流需要人密切参与,才能避免低质量产出和无效循环:智能体难以高效地启动实验,会在不必要的步骤上钻牛角尖,提交“AI 垃圾”PR,产出无法使用的数据工件,还会做出错误的分析假设。

    • “我试过说‘把这个任务做成那个任务那样’,结果被坑了太多次——做出来不太对,我还得改。现在我会说‘先做一个,我来审阅和修改,然后再做剩下的。’”
      ——研究员 1,后训练方向,从事评测工作
  • 研究人员预期当前瓶颈领域会有显著改善:

    • “我确实觉得自己在想法上更有品味了。但我没信心这能持续多久。”
      ——研究员 8,预训练方向,从事架构和数据工作
  • 研究人员从大规模扫描和生成内容中看到巨大提升:研究人员用模型扫描数千个样本,以诊断实验中的问题、标记值得关注的模型行为实例,并构建和质检新数据集。

    • “我最近做的一件事是把我们所有数据都过了一遍……我让它跑了几轮,并校准了它给我的结果。……它给了我一张整理得非常好的大表格。……没有 AI 的话,这会非常痛苦。”
      ——研究员 3,后训练方向,从事数据质量工作

查看方法

产出

除了研究投入和工作流的变化,我们还想了解 AI 的使用是否在加速研究进展。为回答这个问题,我们提出三项指标。其中两项——代码行数和研究实验数量——已包含在我们九月的分析⁠中。这些指标容易追踪,但研究活动指标的增长并不一定意味着研究进展加快。因此我们还引入了 OpenAI ECI,这是 Epoch Capabilities Index 的 OpenAI 内部专用版本,作为一种追踪模型能力变化的方法,更直接地衡量研究成果。

代码变更行数

我们首先报告每位活跃贡献者随时间变更的代码行数。相对于 2025 年之前的平均水平,这一指标在 2026 年持续大幅上升。请注意,自九月的分析⁠以来,我们做了若干方法上的更新。我们现在展示的是 28 天滚动平均值,而非季度平均值,从而更细致地呈现随时间的变化。我们还修订了纳入统计的代码变更标准(特别是排除了测试),详见方法部分。

查看方法

研究实验

与我们在9月报告中的做法一样,我们也追踪每位活跃实验者随时间运行的实验数量。在截至10月18日的四周内,每位活跃实验者记录的实验数平均为2025年基线的1.68倍。

查看方法

OpenAI ECI

最后,我们报告一项旨在反映模型能力进展的指标。Epoch能力指数(在新窗口打开)被广泛用于衡量通用AI能力的进展趋势。OpenAI ECI(OECI)背后的方法与Epoch的方法非常相似,但OECI结合了公开基准和OpenAI内部基准。这里,我们绘制了20个公开发布的OpenAI模型和28个其他模型的OECI。

我们发现,自2025年8月以来,OpenAI模型的OECI前沿每年提升16.4分,而Epoch观察到的自2024年末以来的趋势为每年14分(在新窗口打开)。需要注意的是,OpenAI模型在OECI上相对于竞争对手的得分高于它们在Epoch ECI上的得分,这可能是由于基准组合的差异。

我们计划继续监测OpenAI ECI和其他顶层能力指标,以判断能力进展是否因RSI而加速。

竖线为90%自助法区间。趋势线基于9个创纪录的OpenAI发布版本拟合。

查看方法

结论

总体而言,我们的发现延续了9月报告所呈现的图景:研究人员正在更密集地使用智能体、委派更多工作,并围绕模型的能力与局限调整自己的工作流程。不过,这种提升并非在所有研究工作流程中均匀分布,而且如今的智能体仍存在明显缺陷。

我们注意到,我们报告的历史趋势和指标(涉及大量人机协作)可能无法预测未来由AI驱动的进展。例如,我们最近看到前沿模型在数学领域取得了突然而迅速的突破。随着我们的模型在研究中变得越来越自主、能力越来越强,我们正在监测深度学习领域是否会出现类似的快速突破。

重要的是,随着AI越来越擅长自我改进,竞争压力和治理挑战将会增加,而一项关键任务将是确保人类始终参与这一进程。我们希望发布这些数据能为关于模型能力节奏把控和递归自我改进治理的讨论提供参考。

今后,我们将继续完善此处所报告指标背后的方法。我们还希望扩大报告范围,在多个领域提供更多信息,包括但不限于:

  1. 能力研究与安全研究的差异化加速
  2. 研究加速的先行指标(即无需完成完整的模型开发与评估周期即可检测到提升的增加)
  3. 整体能力随时间的趋势,以及AI对研究的加速对这些趋势的影响

引用

引用

1@techreport{openai2026researchacceleration,2 author = {{OpenAI}},3 title = {Research acceleration: The jagged frontier},4 institution = {OpenAI},5 type = {Research report},6 year = {2026},7 url = {https://openai.com/index/research-acceleration-jagged-frontier/}8}

作者

OpenAI

脚注

  1. 1 尽管实证衡量 AI 研发加速的科学相对年轻,但它在整个研究前沿正迅速发展。迄今为止,Anthropic 已独立发布了三份⁠(在新窗口打开)单独的⁠(在新窗口打开)报告⁠(在新窗口打开),记录了内部模型部署如何加速了 AI 研究过程。Gemini 4 Argon 安全与安保报告⁠(在新窗口打开)的第 3.4.2 节从实证角度概述了 Google DeepMind 内部由 AI 编写的代码占比不断增长。Anthropic 与 METR 合作发布了一份加速报告⁠(在新窗口打开),估算了内部 Claude 模型对能力前沿的加速程度。
  2. 2 我们注意到,OpenAI 的研究人员目前没有智能体编程配额。

8 月 21 日,OpenAI 在内部部署了一项临时的 harness 效率改进。我们发现,这次内部部署恰好与输入 token 利用率的急剧下降同时发生,而这似乎严重压低了有记录的内部 token 支出。出于与支出无关的原因,这项 harness 变更从 9 月 10 日起在内部部署中逐步回退,我们发现此后 token 支出迅速上升。

来源:OpenAI News · openai.com