作者ECZEMA (艾克斯.马)
看板VideoCard
标题[PCIe] Panmnesia 开发出新型 CXL 技术,有望突破 GPU VRAM 限制
时间Thu Jul 4 12:03:20 2024
刚在看 HBM 抢夺 DDR5 产能,可能造成 DRAM 价格飙涨时,
旁边 Tom's hardware 刚好在讲新的 CXL 协议可让 PCIe DRAM 甚至 SSD 去当 VRAM 给 GPU 用
搜了下中文刚好有篇热腾腾刚出的,分享给显卡版大家。
照之前 Intel AMD 都支援旧的 CXL 规格来看,新的 CXL-Opt 若也能被支援,将可大幅减化 GPU HBM 成本和系统复杂性
https://is.gd/NL01cu
Panmnesia 开发出新型 CXL 技术,有望突破 GPU VRAM 限制
透过 PCIe 连接记忆体和 SSD
by JC 2024-07-03 in 新闻
韩国公司 Panmnesia 开发出革命性 CXL 技术,使 GPU 能透过 PCIe 来增加 VRAM,甚至可使用 SSD。
Panmnesia CXL 带来 VRAM 扩充新纪元
现代 AI 和高性能运算 (HPC) 领域的 GPU 受限於内建高频宽记忆体 (HBM) 的容量,影响其在 AI 和其他工作负载中的表现。然而,一项新技术的出现可能彻底改变这一局面。这项技术允许企业通过 PCIe 汇流排连接更多记忆体设备,甚至可以使用 SSD 来扩充 GPU 记忆体容量。
Panmnesia 突破性技术
由韩国知名 KAIST 研究所支持的 Panmnesia 公司,开发出一种可用於扩展 GPU 记忆体的 CXL 技术。由於当前 GPU 缺乏支援 DRAM 和 (或) SSD 的 CXL 逻辑架构和子系统,另外,GPU 快取和记忆体子系统仅识别统一虚拟记忆体 (UVM),而 UVM 速度较慢。
https://imgur.com/pRxPdTI.png
为解决这些问题,Panmnesia 开发了一个符合 CXL 3.1 标准的根复合体 (RC),其特点包括:
配备多个支援 PCIe 外部记忆体的根埠 (RPs)。
具有主机管理设备记忆体 (HDM) 解码器的主机桥接器,连接 GPU 的系统汇流排。
HDM 解码器管理系统记忆体的地址范围,使 GPU 记忆体子系统「误认」正在处理系统记忆体。
Panmnesia 的解决方案 (标记为 CXL-Opt) 经过广泛测试,显示出令人印象深刻的性能:
往返延迟仅为两位数奈秒,相比之下,三星和 Meta 开发的原型延迟为 250 纳秒。
执行时间比 UVM 缩短 1.94 倍,比 CXL-Proto 缩短 1.66 倍。
IPC 值比 UVM 快 3.22 倍,比 CXL-Proto 快 1.65 倍。
这项技术的出现可能对 AI / HPC GPU 产生重大影响,有望扩充 GPU 记忆体容量,满足日益增长的 AI 训练资料集需求。另外,也能提高大规模 AI 模型训练的效率,以及延长现有 GPU 硬体的使用寿命,降低企业成本。
然而,仍存在一些未知因素,比如 AMD 和 NVIDIA 等主要 GPU 制造商是否会支援 CXL 技术,甚至他们是否会使用 Panmnesia 等公司的 IP 区块,还是开发自己的技术等都还是未知。
但整体来说,Panmnesia 的 CXL 技术为 GPU 记忆体扩充开辟新的可能性,不仅可能改变 AI 和 HPC 领域的 GPU 应用方式,还可能推动整个行业向更灵活、更高效的方向发展。随着技术的进一步成熟和可能的广泛采用,可以期待看到更多创新应用和突破性进展。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 89.58.32.217 (德国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/VideoCard/M.1720065809.A.E1D.html
※ 编辑: ECZEMA (89.58.32.217 德国), 07/04/2024 12:06:27
1F:推 kkcity59: 可是PCI-E就这麽慢...还要再透过CPU的记忆体控制器 07/04 13:15
2F:→ kkcity59: H100单个GPU记忆体频宽为3,938 GB/s 07/04 13:20
3F:→ kkcity59: PCIE 16x 5.0也只有64GB/s 07/04 13:21
4F:→ kkcity59: 第五代的NVLink也高达1800GB/s 07/04 13:25
5F:→ ECZEMA: 快绝对没直接安在GPU上快 就算PCIe 7.0 16x也一样 便宜且 07/05 02:18
6F:→ ECZEMA: 简化记忆体厂制程研发 或是HPC模组厂的散热管理 大局观是 07/05 02:20
7F:→ ECZEMA: 否各产业都有利,才是会不会被采用的重点 07/05 02:21