详解高带宽存储器 HBM技术有何好处

人工默认技术在驱动企业翻新开展的同时，也对算力提出了更高的要求。尤其是随着生成式AI的发生，岂但对CPU、GPU性能提出了更高的需求，也对存储性能的要求越来越高。在高算力、高带宽的需求下，如何处置存储的性能瓶颈？为此，高带宽存储器（HBM）走进了人们的视线。

近期，英伟达推出的新一代图形处置器中，便搭载了HBM3e内存，使得容量、带宽和性能获取片面优化，在让各个企业看到了高带宽存储器（HBM）的价值同时，也使得三星、海力士、美光等存储企业放大了对高带宽存储器（HBM）的投入。

什么是高带宽存储器（HBM）？

高带宽存储器，简称HBM，即High Bandwidth Memory，是一种具有高性能、高容量的存储芯片，被宽泛运行于高性能计算、数据中心等畛域。

咱们知道，DRAM（灵活随机存储器）由于具有较高的读写速度、随机访问等好处，被宽泛运行于主机和计算机的内存条等。HBM与DRAM的区别在于，它驳回了3D重叠技术，将多个DRAM芯片重叠在一同，从而成功了更高容量，更大的存储带宽和更低的提前。

自2013年第一代HBM降生以来，随着技术的始终开展，HBM也教训了HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的顺序迭代，最新的HBM3E是HBM3的裁减版本，速率到达了8Gbps。

高带宽存储器（HBM）有哪些好处？

HBM最后并不是以存储性能作为开发目标，而是以提高存储容量为主。经过应用3D芯片重叠技术将多个DRAM芯片重叠在一同，从而提供更大的存储容量。

随着AI技术的开展，其对GPU性能和配置提出了更高的要求。在此背景之下，GPU的配置越来越强，须要愈加极速地从内存中访问数据，以此来缩短运行途理的期间。特意是在生成式AI发生之后，大型言语模型 (LLM）须要重复访问数十亿甚至数万亿个参数，如此宏大且频繁的数据处置，往往须要数小时甚至数天的期间，这显然不可满足要求。于是，传输速度也成了HBM的外围参数。

实践上，目前HBM大都驳回了规范化设计：HBM 存储器堆栈经过微凸块衔接到 HBM 堆栈中的硅通孔（TSV 或衔接孔），并与搁置在基础封装层上的两边件相连，两边件上还装置有处置器，提供HBM 四处置器的衔接。与此同时，HBM经过控制芯片对多个DRAM芯片启动控制，使它们能够同时读取或写入数据，从而提高了存储带宽和数据处置才干。

不美观出，这样的设计与个别的DRAM相比，能够同时垂直衔接多个DRAM并清楚优化数据处置速度，这也是HBM具有更高存储带宽和更低提前的关键所在。

可以说，与DRAM相比，HBM岂但领有容量上的好处，能够同时存储更多的数据，而且领有更高的带宽，能够大幅优化数据的读写速度。这也是英伟达在新一代图形处置器中驳回HBM的基本要素。

高带宽存储器（HBM）的最新技术趋向

虽然HBM曾经演化到了第五代，甚至第六代HBM4技术也初露头角，但时至今天，HBM3e（第五代）依旧没有齐全运行于产品当中。

作为HBM（高带宽存储器）的裁减版本，HBM3e驳回了垂直互连多个DRAM芯片的设计。相较于传统的DRAM产品，HBM3E在数据处置速度上清楚提高。依据SK海力士发布的数据，HBM3E最高每秒可处置1.15TB的数据，相当于在一秒钟内即可处置230多部5GB大小的全高清电影。这种高性能的数据处置才干使得HBM3E成为人工默认内存产品当中的关键规格。

往年7月，美光提供了8hi（24GB）NVIDIA样品、SK海力士也于往年8月中提供8hi（24GB）样品，三星于往年10月初提供8hi（24GB）样品。预期2024年第一季成功HBM3e产品验证。

从HBM1到HBM3e都保管了相反的1024位（每个堆栈）接口，即具有以相对适中的时钟速度运转的超宽接口，为了提高内存传输速率，估量下一代HBM4或者须要对高带宽内存技术启动更实质性的扭转，即从更宽的2048位内存接口开局。

相关报道显示，HBM4在DRAM重叠方面，2048位内存接口须要大幅参与内存重叠的硅通孔数量。同时，外部芯片接口须要将凸块间距增加到远小于55微米，而HBM3目前的凸块总数（约）为3982个，因此须要大幅参与微型凸块的总数。

除此之外，业界还将计划在一个模块中重叠多达16个内存模块，即所谓的16-Hi重叠，这将使得内存供应商能够清楚提高其HBM重叠的容量。当然，HBM4将面临着更大的技术应战，芯片的消费难度也将更大。

为此，台积电就曾示意，由于HBM4不是将速度提高了一倍，而是将接口引脚参与了一倍。因此台积电要与一切三家协作同伴协作，确保三星、美光、海力士等的HBM4（驳回台积电的先进封装方法）合乎规范，并确保RDL或interposer或任何介于两者之间的产品都能允许HBM4的规划和速度。

不同厂商的HBM技术开展门路

虽然同为HBM技术，但芯片厂商的开展门路却不相反。

三星正在钻研在两边件中经常使用光子技术，光子经过链路的速度比电子编码的比特更快，而且耗电量更低。除此之外，三星还将HBM堆栈更间接地衔接四处置器，这象征着随着期间的推移，HBM 堆栈可以更新，以提供更大的容量，但这须要一个涵盖该畛域的行业规范才有或者成功。

海力士正在钻研HBM与逻辑处置器间接衔接的概念，在混合经常使用的半导体中将GPU芯片与 HBM芯片一同制作。这个想法触及内存和逻辑制作商独特设计芯片，而后由台积电（TSMC）等晶圆厂运营商制作。

美光目前正在消费HBM3e gen-2内存，驳回8层垂直重叠的24GB芯片。12层垂直重叠36GB芯片方案于2024年开局出样。此外，美光正与半导体代工运营商台积电协作，将其 gen-2 HBM3e 用于人工默认和 HPC 设计运行。

至于谁家的技术更先进，目前尚且不可判别。不过可以确定的是，随着HBM技术的始终成熟，将会为人工默认带来更强的算力撑持。