跳到正文
OpenAI News·· 13 小时前精选AI 评分54

OpenAI 用 Codex 搭 Performance Factory,自动排查 ChatGPT 性能回归

How OpenAI’s Performance Factory keeps ChatGPT fast

AI 导读

OpenAI 公布 Performance Factory,一套跑在云端的 Codex 智能体系统,自动调查并修复 ChatGPT 的性能回归。Regression Workflow 在告警触发后由智能体定位根因、提出修复并开 PR,工程师决定是否合并,部署后智能体再验证性能是否回到基线。

变化判断

ChatGPT 的性能回归排查改由 Codex 智能体自动完成,工程师只审合并与架构取舍,三个月跑了 1700 多次调查、定位 600 多起根因。

正文 · AI 翻译

OpenAI 的性能工厂如何让 ChatGPT 保持快速

我们由 Codex 驱动的系统能自动发现并修复性能问题。

作者:Okay Zed 与 Cyrus Forbes,技术团队成员

分享

智能体开发的惊人速度,让传统的性能工程方法难以为继。为了跟上节奏,我们打造了性能工厂(Performance Factory)——一个自主系统,它充分利用 Codex 和我们模型的能力,以前所未有的速度发现并修复性能回退。性能工厂运行在云端,自动调查和解决性能问题,让我们能够跟上路线图的雄心。

在性能工厂中,我们的工程师为周期性任务定义工作流,并为执行这些任务的 Codex 智能体编写指令。其中,回归工作流会在性能告警触发时创建一个任务。智能体调查变慢的原因,把发现记录在任务中,并提出修复方案供工程师审核。部署之后,另一个智能体会接手同一个任务,检查性能是否已恢复到基线。从调查、编写修复到验证缓解效果,性能工厂的第一个工作流已经把修复性能回退的整个流程自动化了。在短短三个多月里,回归工作流跟踪了 1,700 多次调查,定位了 600 多个问题的根因。这相当于每天 17 次自动调查。

下面,我们将分享 Codex 的使用如何演变为如今的性能工厂,介绍我们第一个投入运行的工作流,并分享在生产环境中构建和运行智能体工作流的早期经验。

从人工调查到自动化工作流

随着我们把 Codex 用于越来越多的性能工作,我们注意到团队的工作方式在逐步演进。希望其他服务团队在把智能体工作流引入其他领域时,能从我们的过程中得到启发。

Image 1: The evolution of performance engineering: manual work, reusable tools, engineers working with Codex, engineers dispatching tasks, systems dispatching tasks, and a factory of agents coordinating automated workflows.

软件工作从人工劳动,演进到与机器协作,再到智能体工厂。

1. Codex 之前。在 Codex 之前,工程师要手动检查指标和日志、对比追踪数据、调试线上机器、阅读代码来调查变慢的原因。这项工作很耗时,而且往往需要对服务有深入了解,才知道该从哪里查起。相关信号很容易被漏掉。当我们反复遇到同类问题——比如 ChatGPT 首 token 延迟的性能回退——我们构建了 CPU 和内存分配分析器等高级工具,让这些调查更轻松。久而久之,我们积累了 30 多个性能工具。

2. Codex 作为伙伴。有了 Codex 作为伙伴之后,工程师可以问“为什么变慢了?”,并与 Codex 一起调查,即使面对不熟悉的系统也没问题。Codex 能搜索大型代码库、找到相关指标和追踪数据、跟踪跨服务的交互,并做适当的性能分析,从而拼凑出事情的经过。但工程师仍然要把握方向,知道该用哪些性能工具、如何引导调查。复杂的调查对更多人来说变得更容易调试,所需的专业知识和时间都更少。

3. 可复用的技能。为了进一步自动化,我们把性能团队的调查流程固化成一个共享技能,名为 perf-forensics。它会告诉 Codex 有哪些工具可用、何时使用,以及如何排查变慢问题,让 Codex 能从几个角度尝试解决问题:

  • 找出变慢是从什么时候开始的

  • 确定受影响的请求

  • 排查部署或配置变更是否可能是原因

我们基于过往回归的评估测试并打磨了 perf-forensics 技能。针对我们重点关注的几类回归(例如 ChatGPT 延迟和可用性下降),现在只要把一条告警交给 Codex,一次运行就能拿到诊断结果,无需再一步步引导它。

4. 人工中转。随着我们不断添加和打磨 perf-forensics 这类与性能相关的 Codex 技能,我们开始觉得自己成了告警和 Codex 之间的中转站。告警一触发,工程师就把它复制粘贴到 Codex 里、配上对应的技能,再把结论粘回 Slack。

5. 自动化调查。接下来,我们把调查搬到云端,让告警能自动启动 Codex 会话。Codex 调查变慢的原因,并把结论发到 Slack 线程里,但自动化到此为止。工程师仍要接手诊断、制定修复方案,并在部署后确认是否生效。随着告警越积越多,光是弄清哪些回归需要处理,就得翻遍 Slack 线程。

6. 工厂。我们构建了 Performance Factory,用来运行端到端的智能体性能工程工作流。它会跟踪每个进行中的任务下一步需要什么,并在该步骤就绪时分配智能体。每个任务都会保留自身状态和发现,因此工作可以在智能体和工程师之间流转,并在代码评审或部署后继续。对于一次回归,工作从调查告警开始,到在生产环境验证恢复结束。我们可以把常见的优化转成工作流,定期在各服务上运行。一个发现潜在优化点的工作流,可以在另一个工作流中创建任务来测试并实施。

Performance Factory 系统的四个部分

Performance Factory 由四个组件构成:带可配置工作流的任务跟踪器、把就绪工作分配给智能体的调度循环、在云端运行 Codex 的 API,以及在有变化时唤醒智能体的订阅机制(例如 GitHub 评审评论发布或部署完成)。

Image 2: Performance Factory orchestration workflow: alerts, engineers, and other agents create tasks; the task service sends ready tasks to a dispatch loop, which starts Codex turns in the cloud. Agents record progress, while subscriptions wake waiting tasks after PR comments or deployments.

Performance Factory 由任务服务、调度循环、云端执行和订阅机制组成。

带可配置工作流的任务服务

任务服务是工程师定义工作流的地方:添加配置文件,以及用 Markdown 编写的、供智能体遵循的提示词。配置中列出任务可以经过的状态、允许的状态转换,以及哪些步骤需要工程师参与。各个提示词则告诉智能体在每个步骤该做什么。

Plain text

1code-change/2├── config.toml3└── work/4 ├── implementing.md5 └── reviewing.md

一个代码变更任务包含一个配置文件,以及用于实施和评审的 Markdown 提示词。

每项工作都会成为某个工作流中的一个任务,所有工作流都能在界面上看到。工程师可以查看有哪些任务在进行、跟踪进度,并把任务分享给可能掌握更多背景或能帮忙推进下一步的同事。

分配工作的调度循环

调度循环会定期检查哪些任务已准备好进入下一步。它用任务当前状态对应的指令启动一轮 Codex,从而为每个任务分配智能体。智能体在任务上记录进度,完成该步骤后就把任务推进到下一个状态。

云端 Codex

任务分配下来之后,智能体需要一个能干活的地方,而且得能用上工程师日常用的那些工具。我们做了一个内部 API,可以在云端以编程方式触发一次 Codex 会话。这次 Codex 会话运行在我们网络内的一个环境里,能访问我们的代码仓库,也能使用工程师们用的可观测性工具,比如指标、日志、链路追踪、CPU 剖析和内存快照。

智能体以服务身份运行,这样我们就能限定它的权限范围,也能看出哪些操作是性能智能体发起的。把智能体工作搬到云端,我们就能并行推进任务,既不用指望工程师的笔记本电脑一直开着,也不用逐个手动管理云端的开发机。

订阅机制:有变化时唤醒智能体

有些工作必须等人或者等一次部署,智能体没必要在这期间一直空转。任务需要等待时,可以订阅事件,比如 GitHub 拉取请求上的评审评论或失败的 CI 检查,等到该接着干的时候再收到通知。一旦进来的事件与订阅匹配,任务就重新变为就绪状态,调度循环随后可以分配一个智能体继续推进。

第一个工作流:从告警到恢复

发现、定位并解决性能回退,是我们在 Performance Factory 里搭建的第一个工作流,我们称之为 Regression Workflow(回退工作流)。一次性能回退会经历几个阶段:需要调查、已定位根因、已提出修复、已解决,所以我们的自动化工作流也照着这几个阶段来设计,推动任务依次走过。

当配置好的某个性能告警触发时,Regression Workflow 会创建一个任务,由智能体接手并推动它走过这些阶段。任务会把状态和关键发现记录在任何一个智能体的上下文之外,这样其他智能体或工程师都能接着干。工程师可以在 Slack 或 Regression Workflow 的界面里跟进进展、补充上下文、评审提出的改动。修复部署之后,智能体会先确认性能是否已恢复到原来的水平,再把这个任务标记为已解决。

Performance Factory 回退工作流

检测到性能回退。智能体找到原因并提出修复方案。工程师接手,决定上线什么。部署之后,智能体被唤醒检查恢复情况。仍然回退?回到调查阶段。仍然回退?回到调查阶段。检测到性能回退。

Image 3暂停

Image 4Image 5Image 6Image 7Image 8Image 9Image 10Image 11

Image 12Image 13Image 14Image 15Image 16Image 17

Image 18Image 19

Image 20Image 21

Z Z

Image 22

  1. 检测到系统
  2. 查找根因智能体
  3. 提出修复方案智能体
  4. 审查与部署工程师
  5. 验证恢复智能体
  6. 已解决

当前阶段:检测到

回归工作流的步骤包括查找根因、提出修复方案、审查与部署,以及验证恢复。

智能体查找根因

查找根因(可能不止一个)是工作流中的第一个重要步骤。智能体首先弄清哪些指标变差了、它们从什么时候开始变化,以及哪些服务请求受到了影响。perf-forensics 技能让 Codex 能够使用我们性能工程师所用的工具,并提供了一套应对这些问题的操作手册。

指标越过阈值时会触发告警,但回归可能早在数小时前就已开始。智能体会回溯数据,找出指标最初变差的时间点。接着它会对比各组请求:是相似的请求确实变慢了,还是我们服务的原本就慢的请求变多了?这两种发现指向不同的原因。

一旦确定了何时、去哪里查,智能体就会检查部署记录和功能开关变更,再阅读相关代码。它会确认变更实际是在什么时候影响到出问题的请求,并用日志或链路追踪来验证代码能否解释所发生的现象。

对抗式审查让诊断更可靠

早期,智能体有时找到第一个看似合理的解释就停下了,而其中一些诊断后来被证明是错的。为了抓住这类错误,我们加入了对抗式审查:另开一个 Codex 会话,专门尝试推翻给出的诊断。审查者会重新核对假设,并检验反事实。如果某次发布导致了变慢,那么未受影响的同类请求是否仍然正常?如果疑似有问题的变更被回滚,相关指标是否恢复?

在一次排查中,智能体把 ChatGPT 对话失败归因于图片下载出错,并标记为已找到原因。Codex 审查者发现,负责定位文件的内部服务早已恢复,而图片请求仍在失败。这个诊断解释不了持续发生的故障,于是 AI 审查者重新启动排查,并记录下还有哪些问题需要确认。

我们发现,把较大的任务拆成多个聚焦的 Codex 轮次效果不错。在一次对 100 条根因建议的人工评审中,我们判定 70% 是准确的,另有 30% 需要进一步细化,或未能完全确立因果关系。在回归工作流中,不同的轮次分别负责排查回归、质疑诊断和提出修复方案,通过相互制衡来提高准确率。

修复回归才是难点

诊断通过对抗式审查后,工作流会让 Codex 实施修复并提交拉取请求(PR)。由工程师审查该 PR,并决定是否合并。我们投入了大量精力,让这次交接尽可能顺畅。每个任务都有一份报告,自动汇总回归情况、影响、根因和拟议的修复方案。我们把这些摘要调校得便于快速浏览,其中包含指标时间序列、CPU 火焰图和链路追踪,帮助工程师迅速理解结论并核查证据。工程师可以直接修改 PR,也可以依据诊断自己写修复方案。如果他们在 PR 上留下评论,工作流会唤醒一个智能体来处理这些评论。

Image 23: Performance Factory report showing worker startup time more than doubling, with impact and recovery, root cause, and proposed fix.

一个回归任务报告示例,展示了关键细节、根因和拟议的修复方案。

工程师部署修复后,工作流会唤醒一个智能体,检查性能是否已回到此前的基线。如果已恢复,智能体就把任务标记为已解决。如果性能只部分恢复,智能体会把原来的回归标记为已解决,并针对剩余的变慢另开一个新任务,因为其原因可能不同。如果没有任何改善,智能体会记录下情况,并把该回归退回继续排查。

把修复做对比找到根因更难。比如我们见过智能体提出的改动比实际需要的更复杂,或者引入了新问题。和根因分析这一步类似,我们给每个提议的修复加了一道对抗性审查,检查它是否针对根因,并帮助发现缺陷或意外后果。有些修复还涉及更高层面的架构决策。比如加缓存可能提升性能,却会带来数据陈旧的问题。这类改动需要了解该服务的工程师来指导,权衡取舍。

我们正利用这些案例搭建一个评估与改进闭环。把智能体提出的修复和工程师最终合并的改动做对比,就能更清楚地看到提议在哪些地方不足,据此构建评估、改进工作流。我们还在研究用合成性能测试,让智能体在请工程师审查之前先测量提议的修复并自行修改。同时也在探索智能体如何借助我们其他的智能体审查工具识别低风险改动,最终在没有人工介入的情况下直接上线这些修复。

我们学到了什么

构建和运行 Performance Factory 的过程,让我们对在生产环境中开发和运营智能体工作流有了很多认识。以下是给正在构建自有智能体工作流的团队的一些经验。

保护工程师的注意力

Codex 调查的原始输出可能是一大段难以解析的文字。要弄清智能体在主张什么,还得翻出图表确认数据是否支持,这很费功夫。我们希望工程师把注意力花在决策上,而不是去还原智能体的工作过程。

智能体能调查的回归问题,远超一个团队有时间阅读的数量。我们的第一版给工程师呈现了一个满是发现的界面,但仍得有人判断哪些信息重要。一个回归问题还可能以多个事件的形式出现在告警、监控和频道里。现在的工作流会把相关事件关联起来,按团队关心的指标分组,并按预估影响排序。工程师可以专注于补充上下文、权衡取舍、决定上线什么。

评估对智能体的改动

更新调查技能或升级模型,可能让智能体在某些场景下诊断得更好,在另一些场景下更差,所以更新前需要测试它们的影响。我们分开测试两件事:1)智能体调查得怎么样;2)它的总结对工程师有多大用。

评估调查过程

对调查过程,我们用过去的生产事故做回测。把这些事故变成一套测试用例,改动技能时可以重跑。由 Codex 智能体尝试调查并解决该事故,再把智能体的表现与过去实际的解决数据做对比。每个用例都从全新的 Codex 调查智能体和原始信号开始,并剥离可能泄露答案的细节。

历史测试需要谨慎。指标和链路数据会过期,而恢复后收集的证据可能泄露原因。只有当我们清楚调查智能体能看见哪些证据时,测试才有用。智能体可以在设定范围内检查代码、查询生产遥测数据,但不能使用保存的记忆(此前调查的笔记)、读取事故报告,或查看此前运行的结果。事后我们还会检查它的对话记录,看是否有信息可能让测试失真。

我们会评估问题从何时开始、影响范围有多大、哪些请求受到了影响。我们还会考察智能体如何利用证据对可能的原因进行排序,并说明哪些方面仍不确定。智能体可能把时间点判断对了,却归咎于错误的部署,所以这两项我们分开评分。

评估智能体到工程师的交接

我们利用已保存任务的快照来评估任务摘要。这类快照特别适合做回溯测试,因为摘要不依赖外部指标,也不依赖会过期的追踪数据。另有一名评分员负责检查:不熟悉该系统的工程师能否看懂发生了什么、为什么重要,有用的图表是否保留了下来,以及所提出的下一步是否有证据支撑。

把反复出现的故障变成自我修复

最后,我们的智能体也需要监控,程度不亚于它们所调查的服务。性能分析器出故障或权限缺失,都可能让智能体无法确认是什么导致了变慢。这类故障在最终报告里很难发现,所以我们每天运行一个智能体,翻查近期运行的消息和日志,寻找工具故障和访问错误。

我们用 Performance Factory 进行自我修复,解决这项检查发现的问题。当同一个工具错误阻碍了多项调查时,智能体会创建一个任务来修复它。如果原因明确,智能体会提出修复方案,由工程师审阅改动并决定是否合并。合并这类改动后,我们还会用评估来检查智能体能否越过此前卡住的那一步。

下一步:更广泛的应用、主动监控

Regression Workflow 只是智能体工厂模式的一个实例,这种模式让任务在明确的状态之间流转。当有更多工作就绪时,智能体推进任务;独立的评审者质疑结论;当下一步决策需要判断时,工程师介入。其他工作流可以复用同一套机制,只是状态、指令和事件不同。

Performance Factory 的智能体处理告警分诊、回归调查和服务监控任务,并随着工作推进为其他工作流创建任务。

00:00

从一个工作流到多个工作流。Performance Factory 可以跨工作流协调智能体,一个工作流中的智能体可以为另一个工作流创建任务。

目前,我们的 Regression Workflow 在告警触发时启动。不过,我们正在探索更主动的方式,让 Performance Factory 即使没有告警触发也能发现变慢和优化机会。我们希望智能体利用我们已经收集的大量细粒度性能数据,找出告警漏掉的回归或发现优化点。通过对比不同类型的数据(成批的 CPU 和内存性能分析、堆转储,以及跨版本的请求追踪),智能体可能会注意到某个请求的 CPU 占用小幅上升。随后它可以在 Regression Workflow 中创建一个任务,追查上升的原因、实施修复,并提交 PR 供工程师审阅。

在已经知道该找什么的情况下,我们正努力把已知信号编码进更多 Performance Factory 工作流。比如我们的服务规格调整技能,能帮智能体发现那些让副本数超出服务实际所需的自动扩缩容设置。一旦学会识别这类模式,我们就会为它构建工作流,并在所有服务上定期运行,在快速变化的环境中持续优化。有了 Performance Factory,工程师从一次变慢中学到的东西,可以影响我们下一次的调查和修复方式,哪怕几个月后发生在另一个服务上。

下次你用 ChatGPT 时如果感觉变慢了,很可能 Performance Factory 已经在查原因了。目前,瓶颈可能在于等待工程师审核并合并修复。我们已经在探索能否让智能体自己完成这一步。随着 Codex 让产品开发不断加速,性能系统也需要越来越自主、能自我改进,才能跟上节奏。Codex 已经帮我们更快地构建 ChatGPT,现在它又在帮我们让 ChatGPT 保持快速。

作者

Okay Zed、Cyrus Forbes

致谢

特别感谢构建 Performance Factory 的团队,以及我们的文章贡献者 Brendan Gregg、Pieter Hooimeijer、Nick Cooper 和 Louis Brandy。

来源:OpenAI News · openai.com