跳到正文
arXiv· Lorenzo Masoero·· 1 天前精选AI 评分54

TriAgent 在 43 天影子运行中处理 499 张工单,找出 92 处文档缺口

Mind the Gap: A Deployed Multi-Agent System for Documentation Maintenance

AI 导读

研究团队部署了以分诊智能体 TriAgent 为核心的多智能体系统,在 43 天影子模式运行中处理 499 张客服工单,找出 92 处文档缺口。由独立模型家族的 LLM 评委组成的评审组判定,TriAgent 可核查断言中 81.1% 正确(302 条中 245 条);在长度可比的回答对上,评审组 70.5% 偏好 TriAgent 的回答,23.2% 偏好人工工程师的回答。

变化判断

一个多智能体系统在 43 天影子运行中处理 499 张工单、找出 92 处文档缺口,人工复核后修补,修补后同一工单的回答在盲评中 71.4% 优于修补前。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:“AI 革命”让整个科技行业的团队能够以前所未有的速度交付软件功能。代码的迭代速度比以往任何时候都快,但面向客户的文档却往往难以跟上。随着用户越来越依赖以文档为主要接口的基于大语言模型的智能体,这一文档缺口的危害进一步加剧:过时的信息会扩散开来,并被当作权威内容。识别文档在哪些地方落后的信号其实大量存在,既有显式的(例如已解决的工单揭示了文档缺少什么),也有隐式的(例如可通过自动化循环检测到的代码与文档不一致)。我们部署了一套多智能体系统,其核心是一个我们称为“TriAgent”的分诊智能体,持续提取这些信号并修复文档漂移。在 43 天的影子模式运行中,我们的系统分诊了 499 张工单,并发现了 92 处文档缺口。由来自独立模型家族的 LLM 评委组成的评审小组判定,TriAgent 可验证的断言中有 81.1% 是正确的(人类解决方案涉及的 302 条断言中有 245 条正确;以三位评委的多数意见为准);在长度相当的配对中,评审小组在 70.5% 的配对中更偏好 TriAgent 的回答,在 23.2% 的配对中更偏好人类工程师的回答(其余配对没有形成评委多数意见)。重要的是,智能体与人类给出的回复往往互补:人类常常揭示出要么埋没在现有文档中、要么文档中完全缺失的洞见;我们的系统把每一条这样的洞见转化为一处文档缺口,并在人工审核后落实为修复。修复一处缺口能可测量地改善智能体之后的回答:修复后智能体重新回答同一张工单时,盲审评委在 71.4% 的情况下更偏好修复后的回答而非其修复前的回答(n=35)。一项盲审人工审核确认,在自我改进方面两者高度一致。
评论: 已被 IAAI-27(AI 创新应用会议,与 AAAI 2027 同期举办)新兴应用方向接收。12 页(正文 6 页 + 参考文献与附录),2 幅图,6 张表
主题: 软件工程(cs.SE);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.23142 [cs.SE]
  (或本版本的 arXiv:2611.23142v1 [cs.SE])
  https://doi.org/10.48550/arXiv.2611.23142

arXiv 通过 DataCite 颁发的 DOI(待注册)

提交历史

来自:Lorenzo Masoero [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 17:59:13 UTC(45 KB)

来源:arXiv · arxiv.org