垂直堆叠及HBM技术路线图

Kim 定律：垂直堆叠趋势

金定律（Kim's law）是指密集三维集成电路中堆叠和层数大约每两年翻一番的观测结果。该定律以韩国科学技术院（KAIST）教授金正浩（Joungho Kim）的名字命名。2017年，他在一份报纸上发表了一篇相关文章[1]，首次正式公布了金定律，并预测这一增长率将至少持续数年。

金的预测多年来已被证实。它已被用于指导韩国半导体行业的长期规划和研发目标的制定。高带宽系统的进步与金定律密切相关：数据带宽、I/O数量和内存容量。高数据带宽系统促进了图形模块、高性能计算系统和机器学习应用的最新发展。

金定律始于摩尔定律的消亡。尽管摩尔定律的速率从1975年到2012年左右一直保持稳定，但自2013年之后，其速率有所放缓。摩尔定律将继续在领先的半导体制造商台积电和三星电子的推动下，持续到2纳米节点的量产（预计2024年）。然而，MOSFET的微缩将达到原子级微型化的物理极限；仅需几个硅原子即可形成晶体管沟道。在晶体管或量子比特的新概念出现之前，金定律将取代摩尔定律。

Teralab HBM 里程碑

随着人工智能 (AI) 和大数据技术的进步，对 DRAM 的高带宽和高容量需求正在快速增长。从上述里程碑可以看出，为了提供高带宽和高容量，HBM（一种硅中介层）和基于 TSV 的 3D IC 于 2013 年首次开发，并被采纳为 JEDEC 标准。从那时起，HBM 通过提高数据速率以及堆叠更多 DRAM 来提供更高的带宽和更高的容量。最近，三星和 SK 海力士发布了 HBM2E，每个 HBM 可提供 410 GB/s 的带宽和 16 GB 的容量。然而，随着 GPU 和 NPU 等并行计算单元性能的不断提升，需要比当前 HBM 更高的带宽和容量。

Teralab根据当前HBM的技术趋势，提出了下一代HBM 3、4、5的路线图。下一代HBM预计将经历诸多变革，以实现更高的带宽和容量。上图是我们实验室提出的下一代HBM 5的概念图。为了实现更高的内部TSV带宽，我们将引入螺旋点对点TSV，并引入小摆幅接口以降低功耗。此外，我们将增加用于DRAM电源和信号传输的缓冲层，以补偿快速增加的DRAM堆叠层数带来的负载效应。此外，我们将在HBM的逻辑层引入PIM（Processing in Memory）结构，以充分利用TSV极高的带宽。

传统 HBM 的硅中介层仅包含无源元件，而下一代 HBM 的中介层将包含有源电路。随着数据速率的提升，中介层中将集成中继器和均衡器。与由片外 VRM 供电的传统 HBM 不同，为了加快供电速度，下一代 HBM 将使用集成在中介层中的电压调节器。此外，随着 DRAM 层数和密度的增加，需要新的散热解决方案。因此，下一代 HBM 将引入基于硅通孔 (TSV) 的液体微通道和液体流体冷却技术。

上表列出了Teralab提出的下一代 HBM 3、4、5 的规格和功能。HBM3 预计将在目前正在开发的 HBM2e 的基础上进行扩展。因此，通过堆叠 12 层，每层 16 Gb，容量达到每立方体 24 GB，带宽达到每立方体 512 Gbps，具有 1024 个 I/O 接口，数据速率为 4 Gbps。HBM3 在功能方面似乎与 HBM2e 相似。对于 HBM4 和 HBM5，每代的每层密度将增加 2 倍，层数将增加 8 层，容量也将增加 2 倍。为了实现这一目标，从 HBM4 开始，将在有源中介层中实现均衡器和电压调节器，并引入螺旋 TSV 和小摆幅接口以降低功耗。对于HBM5，随着最高数据速率达到8 Gbps，将引入微通道冷却技术来解决散热问题，并增加缓冲层以堆叠24层DRAM。此外，HBM5还将引入PIM结构以提升数据带宽。因此，下一代HBM将成为兼具超高性能、超高带宽和超低功耗的解决方案，而要实现这一目标，需要进行各种结构上的变革，并整合各种综合技术。

最后附上两张YOLE关于HBM的路线图：

参考文献[1] https://www.etnews.com/20170331000273