GPU背后的大赢家——HBM

近日，由于AI需求强劲，三星电子和SK海力士正在考虑增加工厂的半导体晶圆投入量，以加快向10纳米第四代（1a）和第五代（1b）版本的过渡，生产HBM、DDR5和LP-DDR5等高价值产品。

HBM，全称是High Bandwidth Memory，意思是高带宽存储器，被《科创板日报》评选为2023年十大科技热词。

HBM是一款新型的CPU/GPU 内存芯片（即 “RAM”），其实就是将很多个DDR芯片堆叠在一起后和GPU封装在一起，实现大容量，高位宽的DDR组合阵列。打个比方，如果说传统的DDR是"平房设计"，那么HBM则是"楼房设计"。堆叠起来之后，直接的结果就是接口变得更宽，其下方互联的触点数量远远多于DDR内存连接到CPU的线路数量。因此，与传统内存技术相比，HBM具有更高带宽、更多I/O数量、更低功耗、更小尺寸。

建一个楼房可要比建一个平房要困难得多，从底层地基、布线、传输信号、指令、电流等都需要重新设计，而且对封装工艺的要求也很高。

如上图右侧，DRAM通过堆叠的方式，叠在一起，Die之间用TVS方式连接；DRAM下面是DRAM逻辑控制单元，对DRAM进行控制；GPU和DRAM通过uBump和Interposer（起互联功能的硅片）连通；Interposer再通过Bump和 Substrate(封装基板）连通到BALL；最后BGA BALL 连接到PCB上。

HBM堆栈通过中介层紧凑而快速地连接，HBM具备的特性几乎和芯片集成的RAM一样，可实现更多的IO数量。同时HBM重新调整了内存的功耗效率，使每瓦带宽比GDDR5高出3倍还多，功耗降低3倍多！另外，HBM相比GDDR5节省94%的表面积！

HBM的初衷，就是为了向GPU和其他处理器提供更多的内存。这主要是因为随着GPU 的功能越来越强大，需要更快地从内存中访问数据，以缩短应用处理时间。例如，AI和视觉，具有巨大内存和计算和带宽要求。所以提升内存带宽一直是存储芯片聚焦的关键问题。

目前，HBM产品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的顺序开发，最新的HBM3E是HBM3的扩展版本。2023年，NVIDIA 发布H200芯片，是首款提供HBM3e内存的GPU，HBM3e是目前全球最高规格的HBM内存，由SK海力士开发，将于明年上半年开始量产。

HBM每一次更新迭代都会伴随着处理速度的提高。引脚（Pin）数据传输速率为1Gbps的第一代HBM，发展到其第五产品HBM3E，速率则提高到了8Gbps，即每秒可以处理1.225TB的数据。也就是说，下载一部长达163分钟的全高清（Full-HD）电影（1TB）只需不到1秒钟的时间。

当然，存储器的容量也在不断加大：HBM2E的最大容量为16GB，目前，三星正在利用其第四代基于EUV光刻机的10nm制程（14nm）节点来制造24GB容量的HBM3芯片，此外8层、12层堆叠可在HBM3E上实现36GB（业界最大）的容量，比HBM3高出50%。

此前SK海力士、美光均已宣布推出HBM3E芯片，皆可实现超过1TB/s的带宽。同时，三星也宣布HBM4内存将采用更先进的芯片制造和封装技术，虽然HBM4的规格尚未确定，但有消息称业界正寻求使用2048位内存接口，并使用FinFET晶体管架构来降低功耗。三星希望升级晶圆级键合技术，从有凸块的方式转为无凸块直接键合。因此，HBM4的成本可能会更高。

HBM今后的存在感或许会越来越强。据semiconductor-digest预测，到2031年，全球高带宽存储器市场预计将从2022年的2.93亿美元增长到34.34亿美元，在2023-2031年的预测期内复合年增长率为31.3%。

2月23日，SK海力士副总裁KimKi-tae表示，2024年海力士旗下HBM产能已售罄。此前美光在业绩会中也表示得益于生成式AI需求增长，美光2024年的HBM产能预计已全部售罄。