跳到正文
Duolingo Blog· Shelby Wengreen·· 13 天前精选AI 评分50

Duolingo 用 Claude 智能体自动排查 bug,工程师转为审核修复

We tried “Claude, fix this bug”—here’s what actually worked

AI 导读

Duolingo 的 DevX AI 团队用 Claude Agent SDK 搭建了 AI STR Fix,把用户摇一摇提交的 bug 工单自动处理成可用的排查材料,多数任务由 Sonnet 承担、较难的任务交给 Opus。

变化判断

Duolingo 工程师修 bug 前要先翻日志、查实验、找代码和提交记录,现在这些排查由 Claude 智能体先跑完并写进工单,工程师从写修复改成审核修复。

正文 · AI 翻译

We tried “Claude, fix this bug”—here’s what actually worked

提交 bug 很快,修复却很慢。在 Duolingo,管理员和 beta 用户摇一摇手机就能打开 bug 报告表单。我们把这些 bug 称为 Shake-to-Report,简称 STR。管理员提交的报告会自动变成 Jira 工单,供工程师排查。这些 STR Jira 工单里包含大量关键调试信息,比如截图、日志、设备元数据等等。工单涌入的速度远超我们能处理的速度,bug 积压越来越多。

洞察 #1:我们需要帮手……那就让 AI 上吧

我在 DevX AI 团队,我们的使命是用 AI 提升开发者效率,所以自然决定让 AI 来帮忙。我们从一句简单的提示词开始:“Claude,修好这个 bug。”

事实证明,修 bug 远不止改代码这么简单。工程师得先拼凑出事情的来龙去脉:可能要翻日志、还原报告者的操作轨迹、查当时开了哪些 A/B 实验、在代码库里搜索相关代码、拿台设备试着复现、排查最近动过这个功能的 PR,甚至还得找到当初实现这个功能的工程师。

We tried “Claude, fix this bug”—here’s what actually worked

这些流程本来就是 Duo 们手动完成的。让 Claude“修好这个 bug”,等于默认它能走完整个流程,却从没告诉它工程师们早已熟知的那些步骤。

洞察 #2:修 bug 很难……那就让它变简单

如果让 AI 来做工程师原本手动完成的调查工作呢?我们发挥 AI 在 Duolingo 擅长的部分,让工程师专注于人类擅长的事。

我们用 Claude Agent SDK 构建了 AI STR Fix,大部分任务由 Sonnet 处理,更难的交给 Opus。每个任务都会配一个系统提示词、一个用户提示词、一组实用技能,以及一个工作目录,里面放着 Jira 工单信息和相关代码库的副本。AI STR Fix 推进过程中,每一步的发现都会以文件形式写入工作目录(而不是提示词),这样后续智能体可以基于前面的成果继续工作,又不会污染自己的上下文窗口——很像工程师用已掌握的信息指导下一步调查。

AI STR Fix 把工程师手动收集“AI 上下文”的苦活自动化了,并把这些内容发到 STR 工单上。管理上下文对 AI 智能体至关重要,而 AI STR Fix 收集的“AI 上下文”能同时帮助人和智能体做分诊、调查和修复。

找到相关的代码上下文

工程师告诉我们,光是找到该在哪里改代码就可能花上几个小时,尤其是在应用里不熟悉的部分。AI STR Fix 会找出并解释代码库中最可能与 bug 相关的部分。这样就能少花时间翻代码,多花时间修 bug。

We tried “Claude, fix this bug”—here’s what actually worked
AI STR Fix 推荐为最相关的 3 个文件,与修复 PR 中实际修改的 3 个文件一致

还原相关的用户操作

工程师往往要翻查成千上万条埋点事件,才能弄清一份缺陷报告之前到底发生了什么。我们也不想花钱让 AI 智能体把所有这些事件都过一遍。为了不把 token 浪费在明显无关的事件上,我们先做一轮启发式预过滤:只保留相关客户端和后端的事件,优先保留错误事件和离报告时间最近的事件,并合并重复事件。随后智能体把过滤后的事件整理成一条聚焦的时间线,让工程师有更多时间去修缺陷。这样就能少花时间翻查成千上万条埋点事件,多花时间修缺陷。

找出相关实验

Duolingo 很喜欢做 A/B 测试。Duolingo 的大多数客户端代码改动都放在实验开关后面。如果某个缺陷是实验引起的,关掉实验就能快速解决。AI STR Fix 会在报告提交时收集报告者的实验信息,同样先做一轮启发式预过滤,避免把 token 浪费在无关候选上。我们会剔除只针对其他客户端的实验——Android 实验不会导致只在 iOS 上出现的缺陷——只保留缺陷报告时正在运行或刚刚启动的实验。然后智能体查看实验描述和代码,找出相关实验。这样就能少花时间翻查上百个实验,多花时间修缺陷。

找到相关拉取请求

Duolingo 合并的拉取请求非常多,让智能体逐个检查代价太高。于是 AI STR Fix 直接利用前面已经完成的工作:用之前找出的相关代码文件,把搜索范围缩小到最近改动过这些文件的提交,再由智能体检查相关的拉取请求与缺陷之间有没有关联。有时它能找到可能的原因,有时则能发现已有的修复,帮工程师关掉一个搁置已久的缺陷工单。这样就能少花时间翻 git blame,多花时间修缺陷(如果缺陷已经修好,就多花时间修别的缺陷)。

生成复现步骤

AI STR Fix 把相关的用户活动、相关代码和实验信息结合起来,判断报告者当时在做什么、缺陷发生在应用的哪个位置,以及需要哪些实验状态才能复现。然后它生成分步操作说明,并借助应用的调试工具让用户更快到达出问题的位置。人工或下游 AI 智能体可以照着这些步骤尝试复现问题。这样就能少花时间猜怎么触发缺陷,多花时间修缺陷。

推荐相关工程师

Duolingo 有近 1,000 名 Duo,一个缺陷该由谁负责并不总是很清楚。AI STR Fix 会考察谁经常改动相关代码、谁提交过相关拉取请求、谁参与过相关实验,据此推荐熟悉受影响区域的人。这样就能少花时间找对工程师,多花时间修缺陷。

洞察 #3:缺陷越容易修,AI 能修的缺陷就越多

有了这些 AI 上下文,无论对人还是对智能体来说,修缺陷都更容易了。AI STR Fix 最初的工作流程很直接:收集 AI 上下文,然后让智能体实现修复。这给工程师提供了一个起点,而不是从零开始,也让他们的角色从写修复变成验证和审查修复。

用着用着,我们发现还有更多手动步骤可以自动化。

我们增加了一个自审环节,让智能体在把成果交给工程师之前,先检查自己的产出有没有明显错误、测试失败和下游影响。

我们增加了一个修复 CI 阶段,用来监控 CI 并针对失败反复迭代。

我们还发现,有些改动不符合仓库或功能的约定,给评审者增加了额外的工作量。于是我们在实现之前增加了一个功能调研步骤,让智能体先研究该功能是如何运作的,以及它的改动应当如何融入现有代码。

最后,我们加入了自动 beta 构建。修复分支一旦就绪,AI STR Fix 就会自动触发一次 beta 构建。任何人都可以安装它并验证修复效果,这意味着任何人都能修 bug。

洞察 #4:修 bug 很难

AI STR Fix 已经修复了会阻塞发布的 bug。它处理的每张 STR bug 工单,都能把数小时的人工工作自动化。现在各团队正陆续加入自己的 AI 上下文步骤,把他们负责的 bug 所特有的手动分诊工作也自动化。

We tried “Claude, fix this bug”—here’s what actually worked

AI STR Fix 的目标就是让工程师的日子更轻松。我们把工程师原本手动完成的繁琐流程交给 AI,让他们能更快进入真正有意思的部分。

如果你想在一个让 AI 帮工程师少花时间在繁琐工作上、多花时间解决有趣问题的地方工作,我们正在招人!

查看我们的开放职位

来源:Duolingo Blog · blog.duolingo.com