跳到正文
千问大模型·精选AI 评分46

Qwen 公布两项生产级实验:模型自主完成芯片设计与推理适配

芯模协同进化:Qwen 落地生产级芯片设计与推理适配

AI 导读

Qwen 公布两项面向生产环境的实验:Qwen3.8-Max 仅凭一份 NoC 模块规格,在工业级 EDA 工具链中无逐轮人工干预运行 60 小时以上,完成 RTL、验证到物理实现,标准单元数下降 29%、面积下降 42%、功耗估算下降 59.5%。

变化判断

Qwen3.8-Max 在无逐轮人工干预下跑完芯片设计全流程与推理适配,验收标准、安全边界和发布签核仍由人设定。

正文

“

让模型参与芯片设计,也参与新模型在新硬件上的 Day 0 部署与优化。

”

过去几年,语言模型不断向更长程、更复杂的任务推进:它们开始调用工具、理解环境,并以 Agent 的方式持续工作。但模型能力要在真实系统中落地,仍离不开两类关键工程:一端是承载计算的芯片,另一端是将模型性能兑现到硬件上的推理栈。这两部分长期主要由人类团队分段设计和优化。

我们希望让模型进入这两类工程的内部:它不仅使用既有芯片和推理基础设施,也能依据真实工具反馈参与设计、验证和优化。为此,Qwen 分别开展了两项面向生产环境的实验:在芯片设计中,Qwen3.8-Max 从一份 NoC 模块规格出发,完成 RTL、验证和物理实现;在另一项独立实验中,Qwen3.8-Max 将 Qwen3.8-Flash-Next 部署到平头哥真武M890,并持续优化端到端推理性能。

我们将这条路径概括为“芯模协同进化”:让模型同时参与计算硬件的设计与模型推理栈的建设,并在两个层面形成反馈驱动的自主迭代。这里的“协同”并不意味着两项实验使用同一颗芯片,或已经打通芯片与模型的联合优化生产线;它们面向不同硬件对象,但遵循同一种工作方式——读取 EDA、验证器、profile 和端到端实测的反馈,将问题转化为可验证目标,保留有效改动,并回退失败方案。

两个生产级闭环的核心结果:

  •  芯片设计:

    仅向模型提供一份 NoC 模块规格,不提供参考实现或可用于开发的 TestBench。Qwen3.8-Max 在预先配置的工业级 EDA 工具链中、执行阶段无逐轮人工干预的条件下持续运行 60 小时以上,完成从 RTL、验证到物理实现的完整流程。最终标准单元数下降 29%、物理面积下降 42%、功耗估算下降 59.5%。

  •  推理适配:

    Qwen3.8-Max 在真武M890 上用 56 小时完成 Qwen3.8-Flash-Next 的适配与优化。在项目既定的数值回归样例、精度格式和解码配置范围内,输出与参考实现逐位一致;长文本场景的首 token 延迟(TTFT)下降 47%、每输出 token 延迟(TPOT)下降 60%,日常对话场景的单实例吞吐提升 96%。

芯片设计自迭代

“

从一份规格到自主收敛的物理实现。

”

图1:开展芯片设计端到端实验流程示意

在芯片设计层面,我们与达摩院联合开展了一项端到端实验。模型获得的任务输入只有一份面向生产的 NoC(片上网络)模块 Spec,不提供参考实现,也不提供可用于开发的 TestBench。EDA 工具链和任务边界由人预先配置;独立的 Golden TestBench 对模型不可见,仅用于阶段性外部验收。运行开始后,Qwen3.8-Max 在无逐轮人工干预的条件下完成 RTL 编写、验证环境搭建和后端布局布线。

这是一条真实的芯片设计链路:前端编码 → 验证回归 → 缺陷回传修复 → 后端物理实现 → PPA 优化。每一次 EDA 工具与验证器的反馈,都会被转化为下一轮设计和优化的输入。

图2&3:只输入一份 NoC 规格,基于此进行RTL 编码、验证回归、后端实现的芯片设计全链路

像工程师一样架构取舍

在前端编码环节,一个脱敏细节展示了模型如何在设计中权衡,而非照搬通用设计方法。作为优化起点的基线实现对读、写两条路径采用了同一套“全相联 CAM(遍历全部 N 项做 ID 匹配)+ 优先编码器”的重结构。模型没有沿用,而是抓住一条协议约束:AXI 保证同 ID 的响应按发出顺序返回,且裁剪后的 ID 本身就落在索引区间内。读路径每个 ID 至多一笔在途,CAM 属于过度设计,可改为按 ID 直接索引,匹配复杂度从 O(N) 降到 O(1);写路径存在多笔在途,关联匹配确有必要,且实测显式 per-ID FIFO 比 CAM 更贵,因此被保留。这次改动共计 206 行,经模型自建的 Agent TB 完成 UVM 回归,验证功能等价。它是一次有协议依据、可以回归验证的结构优化,在降低实现复杂度的同时保证了功能正确性。

在满足 300 MHz 时序约束的前提下,模型对前端持续迭代,累计执行 7,000 次以上工具调用,面积与功耗随迭代稳定下降。

图4:前端iter 1 的微架构重构:响应匹配器由全相联 CAM 改为按 AXI id 直接索引,读路径匹配复杂度 O(N)→O(1),写路径按面积成本权衡保留原结构;曲线为前端面积/功耗随迭代的下降轨迹。

让每一次失败都变成可回归的修复

验证同样由模型自建。在人工 TestBench 不可见的前提下,它自行构建验证器,让代码和功能覆盖率随迭代持续爬升,其中功能覆盖率提升13.3%,代码覆盖行数达到了14981行。模型将前端与验证之间闭环,验证阶段捕获的bug可以回传给前端修复。如图中例子所示,前端提交的一处改动被 Agent TB 的 sanity 测试判为不通过,报出 100 条 UVM ERROR 与 1 条 UVM_FATAL;错误被回传前端修正后,多个随机种子全部通过。

图5:验证器捕获 RTL 缺陷并回传前端修复,功能覆盖率随迭代稳定提升。绿色表示修复通过,红色表示尚未通过。

后端版图实现:布局布线与线长收敛

前端收敛后,模型继续通过工业级EDA工具驱动后端物理实现。它提交 49 次布局布线,让线长在多轮迭代中持续优化,并在真实版图上完成布局与布线。图中「最短线长 / 当前线长 / 差于基线」三条轨迹清晰记录了这一收敛过程,虽然模型在尝试过程中常有线长差于基线的失败设计,但在不断调整方向后最终收敛到可行且线长更优的方案。这一步从抽象的代码进入切实可布通、可评估的物理实现。

图6:后端布局布线的现场迭代:49 次提交下线长的持续收敛,及其对应的物理版图。

60小时的全流程自主收敛

从读懂规格、RTL 编码、自建验证到后端实现,Qwen3.8-Max 自主运行超过 60 小时,全流程全部基于工业级 EDA 软件,累计工具调用超过一万次,真正打通了从规格到物理实现的完整闭环。与初始版本相比,这颗模块的标准单元数从 332,043 降到 234,637(−29%)、面积从 1,156,142.76 降到 670,298.66 μm²(−42%)、功耗从 225.39 降到 91.20 mW(−59.5%)。

图7:持续迭代 60h+ 后的初始芯片与 Qwen3.8-Max 自主优化版本对比:标准单元数 −29%、面积 −42%、功耗 −59.5%。

这项实验的价值不只在最终结果,更在于形成了可以持续吸收 EDA 与验证反馈的设计闭环:模型能够定位问题、修改实现、验证结果,并在失败时回退方案,使芯片设计成为可迭代、可积累的自主过程。

PPU上新模型推理适配

“

一次 56 小时、无人工介入的新硬件适配与性能优化

”

要让一个新模型真正运行在新硬件上,需要完成权重加载、数值对齐、性能分析、kernel 开发和端到端验证。这通常是一项持续较长周期的工程工作。在这项实验中,人预先提供软硬件环境、任务目标、计算资源和验收规则;运行开始后,Qwen3.8-Max 在平头哥自研的真武 M890 上从零适配 Qwen3.8-Flash-Next,自主决定任务如何拆分、需要多少个子 Agent,以及哪些候选改动值得进入实测。只有通过数值一致性和端到端性能门槛的改动,才会进入默认配置。

56 小时后,Qwen3.8-Max 交付了一套可运行的推理栈。在 SGLang 既定的数值回归样例、精度格式和解码配置范围内,输出与参考实现逐位一致。相较首个可用版本,长文本场景的首 token 延迟和每输出 token 延迟分别下降 47% 和 60%,日常对话场景的单实例吞吐提升 96%。执行期间没有逐轮人工干预。

从一个主 Agent 到四十余个子 Agent

第一阶段只有一个目标:让模型在真武上跑起来,并且数值正确。这一阶段修掉了权重加载中三个"不报错但结果错"的隐患:模型无法建立、五百多个专家中有一批 router 权重整批未写入却返回成功、一张 scale 表偏差三个数量级。加载告警从 14 万条降到 0,输出与参考实现逐位一致,用时 8 小时。

随后主 Agent 抓了一轮 profile,按计算路径把优化空间切成五条互不重叠的主线:注意力、专家层、状态更新、归一化,以及调度与 CUDA Graph capture;再在每条主线下按候选机制继续派子 Agent,一个子 Agent 只负责一件事,56 小时里累计派出四十余个。每个子 Agent 在自己的 worktree 里循环同样四步:抓 profile,把时间归因到具体的 kernel 与启动次数;围绕热点实现 kernel,先过数值一致性校验再优化速度;用完整一轮服务实测判断收益,而不是只看单个算子的小测试;提升超过硬件本身的运行波动,才写入默认配置。

并行的难处不在于同时开几个子 Agent,而在于让它们的结论能够合并:方向必须互不重叠,口径必须完全一致,否则并行只会制造一堆互相矛盾的数字。主 Agent 自己不写 kernel,做的正是这件事:五条主线互不交叉,所有子 Agent 共用同一套实测口径与门槛,报回的结论可以直接比较,也能判断两项改动叠加后是否仍然成立。超节点内的探索资源分配也由主 Agent 调度,模型以 4 卡张量并行部署,一次对比要基线与改动各跑一个实例,64 张卡最多承载八轮实测;写实现与分析结论都不占卡,主 Agent 只在实测环节分卡、跑完回收。人类工程师做同样的事往往只能单线程探索,而 Qwen 通过大规模的子 Agent 并行使超节点在 48 小时里始终满载。

延迟减半,单实例吞吐接近翻倍

长文本场景的两项延迟分别降约一半与六成。 并发长文本场景(输入 16 384 → 输出 4 096 token,32 路并发)首Token延迟(TTFT)从 35.7秒降到 18.9 秒(−47%),每字延迟(TPOT)从66.0 毫秒降到 26.1 毫秒(−60%)。

日常对话场景的单实例吞吐接近翻倍。 同一份权重、同一组推理参数下(4 096 → 512 token,32 路并发),单个实例的吞吐 +96%,同等产能所需的实例数接近减半。

提速主要来自模型自己写的 kernel。 共八个,分布在注意力、专家层、状态更新与归一化四条路径上。第五条主线的产出不是 kernel:它把整个解码过程捕获成一张 CUDA Graph,对应每字延迟降幅最大的那一步。

图8:左栏为两个场景的端到端结果,+96% 的口径是单个实例的吞吐。中栏为九个里程碑各自对首字延迟(上)与每字延迟(下)的影响,其中还包括精度对齐完成与 CUDA Graph 捕获两个非 kernel 节点。右栏两组口径不同:"端到端提升"是整轮服务实测,"Kernel 加速比"是该 kernel 单独相较原厂实现的倍数。

边界与尚未完成的部分

我们仍然为这些数字保留明确的边界:它们来自这一款硬件、这一份权重、这两种工作负载,说明定向优化在这些工作负载上确实兑现了,但不说明换硬件、换模型或换负载后仍然成立。

56 小时打通的是"从零到可交付",性能天花板远未触及。MoE 仍走较通用的分组 GEMM,MegaMoE 路线正处于探索的初期;4 bit 级运行时量化只完成了可行性验证;多 token 预测头(MTP)、chunked prefill 等都还没有通过完整的端到端验证;跨机的专家并行与更大并行域下的通信重排也正在探索。

从两个工程闭环走向芯模协同进化

两项实验位于技术栈的不同层面:芯片设计由 EDA 与验证结果推动 RTL 和物理实现持续收敛;推理适配由数值回归、profile 和端到端实测推动 kernel 与调度策略持续优化。它们面向不同硬件对象,不构成一条已经打通的生产线,却共同展示了模型如何深入芯片与推理栈的真实工程过程。

两个闭环共享一组关键能力:理解复杂工程目标,开发代码和验证环境,组织并行实验,判断结果,回退失败方案,并将经过验证的改动带入下一轮。模型不再只生成一次性结果,而是依据真实反馈持续改进产生结果的方法。

人的角色仍然不可替代。任务目标、软硬件环境、验收标准、安全边界和发布决策仍由人设定;模型负责在这些边界内拆解任务、执行实验和推动收敛。本文的数据也分别受限于特定模块、硬件、模型和工作负载,不能直接外推到其他场景。

展望未来,本文所探讨的两个工程闭环有可能融合为芯模协同进化的更大闭环。再加以工程师的判断力和最终签核,AI for Engineering 的落地将不再遥远。

(文中数据均已脱敏,仅供示意)

关注我,掌握千问大模型最新动态

来源:千问大模型 · mp.weixin.qq.com