跳到正文
TechInsights 半导体分析博客·· 11 天前精选AI 评分62

TechInsights 实测八卡 B300 服务器:每百万输出 token 碳排放 6.9 至 138 克

How Much Carbon Does an AI-Generated Answer Emit?

AI 导读

TechInsights 用墙端交流电表配合每卡遥测,实测八卡 NVIDIA Blackwell Ultra B300 服务器跑推理的能耗与碳排放。

变化判断

同一台八卡服务器,换模型精度、并发数和机房所在地,每百万输出 token 的碳排放从 6.9 克到 138 克,差出二十倍。

正文 · AI 翻译

NVIDIA HGX B300 服务器性能基准分析

这个问题听起来似乎应该有个简单的答案:选定加速器,查一下它的功耗,再算出排放量。但真实的 AI 基础设施并不是这么运作的。

AI 单一碳足迹的迷思

探究为什么 AI 能效归根结底是系统层面的挑战,而不是一颗芯片的规格参数。

2026年11月6日

推理服务的运营碳足迹,不仅取决于处理器的效率,也取决于这些处理器怎么用。换句话说,同时在线用户数、承诺给每个用户的延迟、分配给一个模型的 GPU 数量、模型的数值精度、提示词长度,以及为数据中心供电的电力系统,都会对最终结果产生实质性影响。

TechInsights 最新的基准数据让这些相互作用变得可见。分析团队在配备八块 GPU 的 NVIDIA Blackwell Ultra B300 服务器上,将墙端交流电功率计量与每块 GPU 的遥测数据同步采集,从而揭示整台服务器每消耗单位电量能完成多少工作——远远超出了理论上的加速器规格。

AI 的碳排放由什么决定?

AI 推理的碳效率并非只在芯片设计阶段就已确定。运营方每次选择模型、服务配置、服务水平目标和部署地点时,也都在决定它。

运营因素 实测影响
每百万输出 token 的碳排放

在使用 Qwen3.5 FP8 的最佳实测工作点上,服务器 每焦耳约产生 1.36 个输出 token, 相当于每百万输出 token 约 0.20 kWh。

按 1.2 的数据中心 PUE 和 2026 年各地区电网碳强度 计算,每百万输出 token 的估算排放量范围为:

  • 6.9 g CO₂e — 法国
  • 59.0 g CO₂e — 美国弗吉尼亚州
  • 138.0 g CO₂e — 中国
延迟权衡

提高并发可以把功耗分摊到更多工作上,从而提升能效,但并发过高会拉长等待时间。

对于 DeepSeek-R1 FP4,并发请求从 4 增加到 128,每个 token 的能耗降低了约 80%,但 99 分位首 token 时间从 571 毫秒被推高到 11.2 秒。

GPU 分配的现实

增加 GPU 并不会自动带来更清洁的结果。

对于高并发下的 Qwen3.5 FP4,双 GPU 配置 每块 GPU 每秒约产生 3,337 个输出 token, 而四 GPU 配置约为 2,074。 较小的配置每块 GPU 的生产率高出约 60%。

整台服务器都很重要

仅看 GPU 遥测会严重低估使用阶段的能耗。在各项微基准测试中,GPU 之外的服务器组件(CPU、内存、网络、存储、风扇和电源转换)占总墙端计量功耗的 30% 到 50% 以上。

精度的最佳区间

从 BF16 切换到 FP8,使每个输出 token 的服务器能耗降低了约 55%。

从 FP8 切换到 FP4,降幅则小得多,仅为 6%。这让 FP8 成为兼顾精度与余量的理想运营折中点。

长上下文的长尾效应

将输入提示词从 1,024 个 token 增加到 8,192 个 token,会使每百万输出 token 的服务器能耗增加约 84%,这说明上下文长度必须作为一种稀缺资源来管理。

从每瓦性能到碳生产率

AI 基础设施的高管仪表盘不能只停留在装机兆瓦数、GPU 利用率和 PUE 上,还必须跟踪整机功耗、每次高质量成功请求的能耗,以及随时间变化的电网碳强度。

最可持续的配置未必是延迟最低或位数最少的那个,而是在保证所需质量的同时,把设施总能耗和运营碳排放降到最低的配置。

欧洲、北美和日本正趋同于以软件为中心的开发环境、安全与网络安全证据、开源基础,以及基于云和虚拟化的工作流。印度市场尤为活跃,预计将创下亚太地区最高增速。

深入了解这篇报道背后的数据

为本次分析提供依据的 TechInsights Platform 报告。

在 TechInsights Platform 上获取完整分析

了解为什么 AI 效率归根结底是一项系统工程挑战,而非芯片规格问题。

登录或免费注册 TechInsights Platform 账号。

TechInsights

LinkedIn

X

YouTube

EcoVadis

ISO 27001 Certified

版权所有 © 2026 TechInsights Inc. 保留所有权利。

即将举行的活动 距开始还有

00 天

:

00 小时

:

00 分钟

AI 基础设施:2027 年展望 2026 年 11 月 18 日 • 上午 11:00

来源:TechInsights 半导体分析博客 · techinsights.com