结论前置：推理瓶颈多数时候不在算力，而在每瓦带宽

对主流大模型推理负载而言，决定吞吐的第一约束往往不是峰值算力，而是显存带宽与容量的组合。一个常被忽略的经验值是：每1 TOPS峰值算力大约需要配2至4 GB/s的显存带宽，低于这个区间，算力单元会长期等数据。看个比赛技术解读栏目在整理公开规格书时，习惯先把这条配比算清楚，再谈架构优劣。

把这条结论说透，需要拆成三个可核验的量：权重读取量、KV缓存增长量、批处理规模。三者共同决定了同一颗芯片在不同上下文长度下的实际表现差异。

第一笔账：权重读取决定了解码阶段的带宽下限

自回归解码每生成一个token，都要把参与计算的权重完整读一遍。以公开规格中常见的INT8量化为例，一个70B量级模型单次权重读取约70 GB，若目标输出速率为每秒20个token，仅权重读取就需要约1.4 TB/s的有效带宽。这个数字与算力无关，只与模型体积和目标速率有关。

  • 模型体积越大，带宽下限抬升越明显，算力再高也无法绕过。
  • 量化位宽从INT8降到INT4，权重读取量近似减半，这是端侧方案偏爱低比特的直接原因。
  • 带宽利用率通常达不到理论峰值，公开文档中70%至85%是较常见的工程区间，核算时应留余量。

看个比赛在对比不同推理卡时，会把“权重读取量÷有效带宽”作为第一列指标，而不是先看TOPS。

第二笔账：KV缓存随上下文线性增长，容量与带宽同时吃紧

长上下文场景下，KV缓存成为第二约束。缓存大小与层数、头数、头维度、序列长度、批大小成正比，序列翻倍，缓存近似翻倍。这部分数据每步都要读写，直接占用带宽预算。

  • 容量不足会强制降低批大小，吞吐随之下降，算力空转。
  • 缓存读写与权重读取争抢同一带宽通道，二者叠加后峰值算力更难兑现。
  • 分页式缓存管理与前缀复用能显著降低重复读写，是软件侧最直接的带宽节省手段。

因此评估一颗推理芯片，应同时给出短上下文与长上下文两组带宽占用数据，单看一组容易误判。看个比赛技术解读在整理参数表时坚持双场景并列，正是为了避免这种偏差。

第三笔账：把配比落到选型表上

把上述两笔账合并，可以得到一个简化的选型核算流程：先按模型体积与目标速率算权重带宽下限，再按上下文与批大小算KV缓存带宽增量，两者相加后除以合理利用率，得到所需有效带宽，最后与芯片公开带宽规格对照。

  • 若所需带宽明显高于芯片规格，提升算力无意义，应优先换带宽更高的方案或降低精度。
  • 若带宽充裕而算力吃紧，才考虑提高算力密度或增加并行度。
  • 能效维度上，应关注每token能耗而非每瓦算力，后者在带宽受限时失真明显。

这套方法不需要内部数据，只依赖公开规格书与模型结构参数，工程师可以自行复算。看个比赛会在客户端同步这类核算模板，安卓、苹果iOS、Windows电脑版与Mac电脑版均可离线查看，方便在现场评审时直接对照。

结语：先算带宽，再谈算力

推理芯片的性能讨论容易滑向峰值算力竞赛，但真正决定单位成本吞吐的是带宽配比。把权重读取、KV缓存、批大小三笔账算清，再叠加合理的带宽利用率，得到的结论通常比参数表上的大数字更接近实际。看个比赛技术解读栏目后续会继续用这种结论前置的方式，拆解互联拓扑与能效优化的可核验指标。