美光示警：AI"内存墙"正在加剧，HBM 成关键瓶颈

据外媒报道，美光 HBM 设计架构研究员 Raghu Sriramaneni 近日在演讲中指出，当前 AI 系统面临一个日益严峻的结构性矛盾：

AI 计算性能：每两年约提升 3 倍

HBM 带宽增长：同期仅增长不到 2 倍

算力与内存带宽之间的增速差距正在持续扩大，"内存墙"问题不仅没有缓解，反而可能进一步加剧。

为什么内存会成为 AI 的瓶颈？

AI 加速器（如 GPU）在执行计算时，需要不断从内存中读取数据。无论处理器性能多强，一旦数据供给速度跟不上计算需求，计算单元就只能"空转等待"，导致整体性能大打折扣。

HBM（高带宽内存）通过将多个 DRAM 芯片垂直堆叠、并放置在靠近 GPU 的位置，提供了比传统 DRAM 更宽的带宽，是当前 AI 加速器的首选内存方案。然而，随着 AI 模型规模持续膨胀，HBM 的带宽增长已逐渐追不上算力的提升速度，内存瓶颈问题再次凸显。

这一问题并非停留在理论层面。美光引用 Meta 的 Llama 3 训练论文中的数据显示，在训练过程中，17% 的意外中断是由 HBM 相关问题造成的，充分说明内存可靠性已成为制约大规模 AI 训练的实际障碍。

技术挑战：堆叠层数增加带来散热难题

HBM 的堆叠层数正不断攀升：早期为4层，当前主流12-16层，未来方向20层以上。层数越多，带宽和容量越大，但功率密度也随之急剧上升，散热难度显著增加。这已成为 HBM 进一步扩展面临的核心工程挑战。

美光强调，要突破上述瓶颈，行业必须转向颠覆性的工艺和封装技术，关键手段包括：

液冷技术：应对高功率密度带来的散热压力；

混合键合（Hybrid Bonding）：提升芯片间互连密度，降低热阻；

下一代先进封装技术：从系统层面优化内存与计算单元的协同效率。