TechInsights 实测八卡 B300 服务器:每百万输出 token 碳排放 6.9 至 138 克
How Much Carbon Does an AI-Generated Answer Emit?
TechInsights 用墙端交流电表配合每卡遥测,实测八卡 NVIDIA Blackwell Ultra B300 服务器跑推理的能耗与碳排放。
同一台八卡服务器,换模型精度、并发数和机房所在地,每百万输出 token 的碳排放从 6.9 克到 138 克,差出二十倍。
NVIDIA HGX B300 服务器性能基准分析
这个问题听起来似乎应该有个简单的答案:选定加速器,查一下它的功耗,再算出排放量。但真实的 AI 基础设施并不是这么运作的。
AI 单一碳足迹的迷思
探究为什么 AI 能效归根结底是系统层面的挑战,而不是一颗芯片的规格参数。
2026年11月6日
推理服务的运营碳足迹,不仅取决于处理器的效率,也取决于这些处理器怎么用。换句话说,同时在线用户数、承诺给每个用户的延迟、分配给一个模型的 GPU 数量、模型的数值精度、提示词长度,以及为数据中心供电的电力系统,都会对最终结果产生实质性影响。
TechInsights 最新的基准数据让这些相互作用变得可见。分析团队在配备八块 GPU 的 NVIDIA Blackwell Ultra B300 服务器上,将墙端交流电功率计量与每块 GPU 的遥测数据同步采集,从而揭示整台服务器每消耗单位电量能完成多少工作——远远超出了理论上的加速器规格。
AI 的碳排放由什么决定?
AI 推理的碳效率并非只在芯片设计阶段就已确定。运营方每次选择模型、服务配置、服务水平目标和部署地点时,也都在决定它。
| 运营因素 | 实测影响 |
|---|---|
| 每百万输出 token 的碳排放 |
在使用 Qwen3.5 FP8 的最佳实测工作点上,服务器 每焦耳约产生 1.36 个输出 token, 相当于每百万输出 token 约 0.20 kWh。 按 1.2 的数据中心 PUE 和 2026 年各地区电网碳强度 计算,每百万输出 token 的估算排放量范围为:
|
| 延迟权衡 |
提高并发可以把功耗分摊到更多工作上,从而提升能效,但并发过高会拉长等待时间。 对于 DeepSeek-R1 FP4,并发请求从 4 增加到 128,每个 token 的能耗降低了约 80%,但 99 分位首 token 时间从 571 毫秒被推高到 11.2 秒。 |
| GPU 分配的现实 |
增加 GPU 并不会自动带来更清洁的结果。 对于高并发下的 Qwen3.5 FP4,双 GPU 配置 每块 GPU 每秒约产生 3,337 个输出 token, 而四 GPU 配置约为 2,074。 较小的配置每块 GPU 的生产率高出约 60%。 |
| 整台服务器都很重要 |
仅看 GPU 遥测会严重低估使用阶段的能耗。在各项微基准测试中,GPU 之外的服务器组件(CPU、内存、网络、存储、风扇和电源转换)占总墙端计量功耗的 30% 到 50% 以上。 |
| 精度的最佳区间 |
从 BF16 切换到 FP8,使每个输出 token 的服务器能耗降低了约 55%。 从 FP8 切换到 FP4,降幅则小得多,仅为 6%。这让 FP8 成为兼顾精度与余量的理想运营折中点。 |
| 长上下文的长尾效应 |
将输入提示词从 1,024 个 token 增加到 8,192 个 token,会使每百万输出 token 的服务器能耗增加约 84%,这说明上下文长度必须作为一种稀缺资源来管理。 |
从每瓦性能到碳生产率
AI 基础设施的高管仪表盘不能只停留在装机兆瓦数、GPU 利用率和 PUE 上,还必须跟踪整机功耗、每次高质量成功请求的能耗,以及随时间变化的电网碳强度。
最可持续的配置未必是延迟最低或位数最少的那个,而是在保证所需质量的同时,把设施总能耗和运营碳排放降到最低的配置。
欧洲、北美和日本正趋同于以软件为中心的开发环境、安全与网络安全证据、开源基础,以及基于云和虚拟化的工作流。印度市场尤为活跃,预计将创下亚太地区最高增速。
深入了解这篇报道背后的数据
为本次分析提供依据的 TechInsights Platform 报告。
在 TechInsights Platform 上获取完整分析
了解为什么 AI 效率归根结底是一项系统工程挑战,而非芯片规格问题。
登录或免费注册 TechInsights Platform 账号。
![]()

版权所有 © 2026 TechInsights Inc. 保留所有权利。
即将举行的活动 距开始还有
00 天
:
00 小时
:
00 分钟
AI 基础设施:2027 年展望 2026 年 11 月 18 日 • 上午 11:00
来源:TechInsights 半导体分析博客 · techinsights.com
