JEDEC 今天宣布，将发布其高带宽内存 (HBM) DRAM 标准的下一版本：JESD238 HBM3。HBM3 是一种创新方法，用于提高在更高带宽、更低功耗和单位面积容量对解决方案的市场成功至关重要的应用中使用的数据处理速率，包括图形处理和高性能计算和服务器。

　　据介绍，新 HBM3 的主要属性包括：

　　将经过验证的 HBM2 架构扩展到更高的带宽，将 HBM2 一代的每针数据速率提高一倍，并定义高达 6.4 Gb/s 的数据速率，相当于每台设备 819 GB/s；

　　将独立通道的数量从 8 个（HBM2）增加到 16 个；每个通道有两个伪通道，HBM3 实际上支持 32 个通道；

　　支持 4 高、8 高和 12 高 TSV 堆栈，并为将来扩展至 16 高 TSV 堆栈做好准备；

　　支持基于每个内存层 8Gb 到 32Gb 的各种密度，设备密度从 4GB（8Gb 4 高）到 64GB（32Gb 16 高）；第一代 HBM3 设备预计将基于 16Gb 存储层；

　　为了满足市场对高平台级 RAS（可靠性、可用性、可维护性）的需求，HBM3 引入了强大的、基于符号的片上 ECC，以及实时错误报告和透明度；

　　通过在主机接口上使用低摆幅 (0.4V) 信号和较低 (1.1V) 工作电压来提高能效；

　　“凭借其增强的性能和可靠性属性，HBM3 将支持需要巨大内存带宽和容量的新应用，”NVIDIA 技术营销总监兼 JEDEC HBM 小组委员会主席 Barry Wagner 说。

　　“HBM3 将使行业达到更高的性能阈值，提高可靠性并降低能耗，”美光 高性能内存和网络副总裁兼总经理 Mark Montierth 说。“在与 JEDEC 成员合作开发此规范时，我们利用美光在提供先进内存堆叠和封装解决方案方面的悠久历史来优化市场领先的计算平台。”

　　“随着 HPC 和 AI 应用的不断进步，对更高性能和更高能效的需求比以往任何时候都增长得更快。随着当前 HBM3 JEDEC 标准的发布，SK hynix很高兴能够为我们的客户提供具有当今现有最高带宽和最佳能效的存储器，并通过采用增强的 ECC 方案增加了稳健性。SK 海力士很自豪能成为 JEDEC 的一员，因此很高兴能够继续与我们的行业合作伙伴一起建立强大的 HBM 生态系统，并为我们的客户提供 ESG 和 TCO 价值”，SK海力士DRAM产品企划副总裁Uksong Kang 说。

　　“十多年来， Synopsys一直是 JEDEC 的积极贡献者，帮助推动 HBM3、DDR5 和 LPDDR5 等最先进的内存接口在一系列新兴应用中的开发和采用，”Synopsys 的 IP 战略的营销高级副总裁 John Koeter 说。“Synopsys HBM3 IP 和验证解决方案已被领先客户采用，可加速将这一新接口集成到高性能 SoC 中，并支持开发具有最大内存带宽和能效的多芯片系统级封装设计。”他接着说。

　　人工智能推动 HBM 增长

　　高带宽内存 (HBM) 正变得越来越主流。随着最新迭代的规范获得批准，生态系统中的供应商正准备确保它可以实施，以便客户可以开始设计、测试和部署系统。

　　人工智能 (AI) 的大规模增长和多样性意味着 HBM 并不适合小众市场。它甚至变得更便宜了，但它仍然是一种优质内存，需要专业知识才能实施。作为 3D 堆叠 DRAM 的内存接口，HBM 通过堆叠多达 8 个 DRAM 裸片和可选的基础裸片（包括缓冲电路和测试逻辑），在显着小于 DDR4 或 GDDR5 的外形尺寸中实现更高的带宽，同时使用更少的功耗。

　　与所有内存一样，HBM 每次迭代都会在性能改进和功耗方面取得进步。三星电子内存产品规划团队的首席工程师 Jinhyun Kim 表示，从 HBM2 迁移到 HBM3 时，一个关键的变化是将数据传输速率从 3.2/3.6Gbps 提高到 6.4Gbps，每个引脚的性能将提高 100%。

　　第二个根本变化是最大容量从 16GB (8H) 增加到 24GB (12H) 50%。最后，HBM3 将片上纠错码作为行业标准实现，这提高了系统可靠性，Kim 说。“这对于下一代人工智能和机器学习系统至关重要。”

　　HBM 的本质是你不能简单地取出 HBM2 并用最新最好的替代它，但每一代新一代 HBM 都包含许多改进，与最新最好的 GPU 和 ASIC 的发布相吻合，Kim 说。多年来，三星不断更新其 HBM 产品组合，在每次参与之前，都将当前和下一代 HBM 产品的生命周期与主要合作伙伴的需求保持一致。“这有助于完全满足向后兼容性的需求，”他说。

　　设计人员将不得不适应利用 HBM3，Kim 表示，这是支持系统架构的理想解决方案，可解决 AI/ML 数据集日益复杂和大小的问题，并指出 HBM2 中每个堆栈的最大带宽为 409GB/s。“使用 HBM3，带宽已跃升至 819GB/s，而每个 HBM 堆栈的最大密度将增加到 24GB，以便管理更大的数据集。”

　　这些变化使系统设计人员能够扩展受密度限制限制的各种应用程序的可访问性。“我们将看到 HBM3 的采用从通用 GPU 和 FPGA 通过基于 DRAM 的缓存和 HPC 系统中的 CPU 扩展到主内存，”他说。

　　Kim 说，AI/ML 推理的主流化可以说是 HBM 的主流化。“不乏新的用例、应用程序和工作负载，推动了下一代 HPC 和数据中心对 AI/ML 计算能力的需求。”

　　Objective Analysis 的首席分析师 Jim Handy 表示，人工智能一直是 GPU 中 HBM 的主要驱动力。“GPU 和 AI 加速器对带宽有着令人难以置信的渴望，而 HBM 将它们带到了他们想去的地方。” 有时 HBM 最经济实惠，即使它过去的成本是 DRAM 的六倍——尽管现在它已经下降到大约三倍。

　　“使用 HBM 的应用程序需要如此多的计算能力，因此 HBM 确实是唯一的方法，”Handy 说。如果你尝试用 DDR 来做这件事，你最终将不得不拥有多个处理器而不是只有一个处理器来完成相同的工作，而且处理器成本最终会超过你在 DRAM 中节省的成本。”

　　人工智能的一个特点是它大量使用矩阵操作，Handy 说，当 GPU 明显优于使用标准 x86 架构时，人工智能变得更便宜，进化的下一步是采用 FPGA 来访问到专用处理器。由于 AI 需要如此多的带宽，GPU 和 FPGA 一直在整合 HBM。

　　HBM 的一个关键特性是不可能拔出 HBM2 并用 HBM3 替换它，因为它是焊接而不是插座，但系统设计人员应该能够轻松地进行转换，Handy。“这几乎是 HBM2E 和早期版本的线性发展。”