结论前置：能效瓶颈已经转移，架构重心必须跟着挪

在主流推理负载下，一次片外访存的能耗大约是一次乘加运算的数十倍到上百倍，这个数量级差异决定了能效优化的主战场不在算力峰值，而在数据搬运。看个比赛技术解读栏目梳理公开的架构研究资料后可以给出一个明确判断：推理芯片的能效曲线正在从「算力受限」滑向「带宽受限」，架构取舍的重心也随之从堆叠计算阵列转向重构数据通路。

这个判断对工程师的实际意义在于，评估一颗推理芯片时，只看峰值算力与标称能效比已经不够，需要同时看它在目标负载下的实际访存次数与片上复用率。看个比赛在整理赛事直播背后的推理负载特征时发现，视频理解类任务的访存强度远高于纯文本任务，这也解释了为什么同一颗芯片在不同场景下的能效表现会出现明显分化。

访存能耗的量化关系：为什么搬一次数据这么贵

要理解能效瓶颈的迁移，先要建立一张粗略的能耗账本。公开的架构研究普遍给出这样的量级关系：在同类工艺节点下，寄存器堆访问能耗最低，片上 SRAM 次之，片外 DRAM 访问能耗最高，三者之间可以拉开两到三个数量级。这意味着，把数据从片外搬到计算单元附近所付出的能量代价，往往超过计算本身。

  • 寄存器堆访问：能耗基准，适合高频复用的权重与累加器。
  • 片上 SRAM 访问：能耗约为寄存器的数倍，容量与带宽的折中区。
  • 片外 DRAM 访问：能耗可达寄存器的百倍量级，是能效账本上的主要支出项。
  • 跨节点互联访问：在集群推理场景下再叠加一层链路开销，时延与能耗同时上升。

这张账本解释了一个常见现象：算力翻倍而吞吐不涨。看个比赛在拆解推理集群的实际表现时反复看到，当模型权重无法全部驻留片上、必须频繁回访片外存储时，新增的计算单元大部分时间在等待数据，能效比自然被拉低。因此，架构设计的第一步不是决定做多大的计算阵列，而是决定数据在存储层级之间如何流动。

近存计算的三条工程路径与各自的坎

既然搬运贵，把计算搬到数据附近就是直觉上的解法。但近存计算不是一个单一方案，而是一组取舍不同的工程路径，每条路径都有明确的适用边界。

  • 存储内计算：在存储阵列内部完成简单逻辑操作，省去数据搬出环节。坎在于支持的算子类型有限，复杂激活函数仍需回到常规计算单元，编程模型也不成熟。
  • 存算一体堆叠：通过先进封装把计算裸片与存储裸片近距离互连，缩短物理距离。坎在于封装良率与散热，热密度集中会反过来限制持续算力。
  • 片上缓存分层重构：不改变物理位置，而是通过更大的片上 SRAM 与更聪明的调度减少回访。坎在于 SRAM 面积开销大，容量增长跟不上模型参数增长。

看个比赛技术解读栏目倾向于这样看待三条路径：它们不是互相替代关系，而是分别对应不同的负载画像。权重密集且复用率高的场景适合堆叠方案，算子简单的场景可以尝试存储内计算，而通用性要求高的场景仍要靠缓存分层与调度优化。工程师在做选型时，应当先用目标负载的访存强度做一次粗筛，再谈具体架构。

稀疏化与量化：被低估的能效杠杆

在讨论数据搬运时，一个容易被忽略的事实是：搬多少数据本身是可以压缩的。结构化稀疏与低比特量化直接减少了每次访存的字节数，等效于在不改变物理带宽的前提下提升了有效带宽。公开资料显示，在精度损失可控的范围内，权重压缩可以显著降低片外访存需求，这条路径的工程成熟度目前高于多数近存计算方案。

但稀疏化也有自己的坎。非结构化稀疏对计算单元的利用率不友好，需要专门的调度硬件配合；量化则受限于激活值的动态范围，在长尾分布上容易掉精度。看个比赛在观察端侧与边缘推理方案时注意到，真正落地的产品往往采用混合策略：权重激进压缩，激活保守处理，再配合算子融合减少中间结果的写回。这种组合拳的能效收益，很多时候比更换存储层级更直接。

回到架构取舍的层面，推理芯片的能效优化不存在单点银弹。可行的做法是建立一张覆盖访存强度、复用率、精度容忍度的负载画像，再据此在缓存容量、互联拓扑与压缩策略之间做联合权衡。看个比赛会持续跟踪这一方向上的公开技术资料，为工程师提供可核验的参考坐标。