作者madeinheaven ()
看板Stock
标题[新闻] 辉达从 KV 快取解记忆体瓶颈！Vera Rubin
时间Tue Jan 13 18:53:32 2026
原文标题：
辉达从 KV 快取解记忆体瓶颈！Vera Rubin 采 ICMS 恐加剧 NAND 缺货潮
原文连结：
https://bit.ly/4bwXkVZ
发布时间：
2026 年 01 月 13 日 11:01
记者署名：
林 妤柔
原文内容：
花旗银行今（13 日）出具最新报告指出，随着辉达（NVIDIA）采用推论情境记忆体储存
（Inference Context Memory Storage，简称 ICMS）等新技术，预期 NAND 供应短缺预
期将进一步恶化。
辉达近日宣布将在 Vera Rubin 平台上采用 ICMS，目标是解决大规模推论运算中的记忆
体瓶颈。新架构预期将采用 16TB TLC SSD，并将 KV 快取卸载至更具延展性的储存体系
，以强化 Rubin 的 AI 能力。
花旗预期，
每一套 Vera Rubin 伺服器将因 ICMS 额外需要 1,162TB 的 SSD NAND，对於
2026 和 2027 年的总 TB 数也会上升，未来将进一步加剧 NAND 供应短缺情况。
辉达宣布作为全端 NVIDIA BlueField 平台一部分的 BlueField-4 资料处理器，将驱动
NVIDIA 推论情境记忆储存（ICMS）平台。此平台为全新一代的 AI 原生储存基础架构，
专为开拓下一个 AI 前沿而设计。
辉达指出，随着 AI 模型扩展至数兆个参数与多步骤推理，产生大量情境资料，以 KV 快
取表示，对准确性、使用者体验与连续性至关重要。由於会对多代理系统中的即时推论造
成瓶颈，因此 KV 快取无法长期储存在 GPU 上。AI 原生应用需要全新类型的可扩充基础
架构，以储存并分享这些资料。
什麽是 KV 快取（KV Cache）？
在 AI 推理阶段，会用到一种类似人脑的「注意力机制」，包括记住查询中重要的部分（
Key）以及上下文中重要部分（Value），以便回答提示。如果每处理一个新的 token（新
词），模型必须针对先前处理过的所有 token 重新计算每个词的重要性（Key 与 Value
），以更新注意力权重。
换言之，好比学生每读一个新句子都要重新回顾整篇文章，过程会相当耗时。KV 快取则
类似笔记的概念，能将重要资讯记录下来，当有新的 token 时，不需要再重新回顾，直
接从笔记里的资讯即可计算新的注意力权重。
也因此，大语言模型（LLM）被加入一种称为「KV 快取」的机制，能将先前的重要资讯（
Key 与 Value）储存在记忆体中，免去每次重新计算的成本，从而将 token 处理与生成
速度提升数个数量级。
将 KV 快取可配置在不同运算记忆体中
简单来说，KV 快取是「AI 模型的短期记忆」。由於已经储存先前已计算过的
key-value 配对，以避免重复运算。依据记忆体阶层不同，KV 快取可配置在不同的运算
记忆体层级中。
例如，KV 快取可配置於 GPU HBM（G1），作为主动 KV 快取；配置於系统 DRAM（G2）作
为暂存/外溢的 KV 快取；或者，作为置於本地 SSD（G3）中的暖 KV 快取；最後一种是
容量最大、可跨节点共享的 KV 快取储存层（G4）。
花旗指出，该平台透过「卸载 KV 快取」至更具延展性的储存选项，使记忆体容量突破
HBM 限制，以此实现每秒处理 token 数提升，最高可达 5 倍；能源效率提升高达 5 倍
；同时让延迟更低。
花旗指出，ICMS 在本地 SSD（G3）与共享企业级储存（G4）之间新增一层。作为 G3.5
的 KV 快取层（下图红框处），ICMS 将支援把 G4 的冷 KV 快取资料转为 G2 的暖 KV
快取资料，以提升资料存取速度，并与 HBM 有机协同运作。
花旗预期，全球 NAND 供应短缺将进一步恶化，因为 Vera Rubin 平台预期将为 ICMS 运
作采用 16TB TLC SSD，成为全球 NAND 需求成长动能。其中，每一套 Vera Rubin 伺服
器系统需额外配置 1,152TB 的 SSD 才能运作 ICMS。
考虑到 2026 年和 2027 年 Vera Rubin 伺服器出货量分别为 3 万和 10 万台，将进一
步推升 NAND 需求。花旗认为，辉达宣布采用 ICMS，将成为 NAND 供应商的正向催化剂
，主要受惠者包括三星、SK 海力士、SanDisk、铠侠及美光。
心得/评论：
花旗预期NVIDIA的ICMS新技术将会加剧 NAND 缺货潮
再次印证群联执行长潘健成说的NAND Flash缺货潮将达十年
https://webptt.com/cn.aspx?n=bbs/Stock/M.1759592646.A.892.html
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.225.24.130 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1768301615.A.E7F.html
1F：推 joygo : 缺十年 没电脑换了 01/13 18:55
2F：推 VVizZ : 明天一根 01/13 18:55
3F：推 perlone : 99群联 01/13 18:56
4F：推 redbeanbread: 买股票就有钱买了 01/13 18:59
5F：推 cuteSquirrel: 楼下三星 美光 董事 01/13 19:03
6F：→ gladopo : 99组装仔 01/13 19:03
7F：推 picaroon : 利多出尽 惨 01/13 19:04
8F：推 Jimmynick : 998299 01/13 19:05
9F：推 winken2004 : 炒完一个换下一个 01/13 19:06
10F：推 jerrychuang : citi估算，一台Rubin配一台ICMS，50000台Rubin大约 01/13 19:08
11F：→ jerrychuang : 占现有SSD 5%，影响有多大呢? 01/13 19:08
12F：推 scgraph : 盖厂也不到2年,谁信缺货十年 01/13 19:11
13F：→ amig0123 : 怎麽不炒电 不缺电喔 01/13 19:12
14F：→ Waitaha : 现在换炒土方了 01/13 19:18
15F：推 j32072 : 记忆体缓解 难怪今天崩成这样 这只是刚开始 01/13 19:20
16F：推 Somebody99 : 唬烂 01/13 19:21
17F：推 shhs1000246 : 股版乡民喊唬烂 从群联500喊到1700了 看看这些推文 01/13 19:27
18F：→ shhs1000246 : 什麽时候变成小丑 01/13 19:27
19F：→ appledick : 这解法就是8299的啊….潘董有讲过 01/13 19:28
20F：→ appledick : 看来是直喷2000了 01/13 19:29
21F：推 pns215 : 潘董自己都质押加码了 01/13 19:29
22F：推 jorden : 再怎麽魔改在推理方面还是拚不过TPU 你该想想看 01/13 19:29
23F：→ jorden : 要怎麽融合GPU跟LPU去玩了 01/13 19:30
24F：推 hemisofia : 潘sir两年前就在推用SSD替代HBM了齁XD 01/13 19:34
25F：推 yellow5 : 记忆体我刚逢低捡而已，不会这麽快崩吧 01/13 19:34
26F：→ faelone : 缺货十年，潘董的低价库存也称不了十年吧 01/13 19:40
27F：推 joewucool : 相信潘董！ 01/13 19:54
28F：推 darkangel119: Switch 要忙死了 各种不同记忆体的traffic 忙到炸 01/13 20:01
29F：→ fywei : 才10年吗 我看至少500年 01/13 20:02
30F：推 ororzzz : 99等等党 01/13 20:15
31F：推 BruceChen227: 完辣 3060ti准备再战十年 01/13 20:25
33F：推 skkhome : 相信潘董 01/13 21:04
34F：推 sanguinesand: 998299 01/13 21:05
35F：→ z7956234 : 是要不要用VHM了没，就差一个人出来说要用馁 01/13 21:09
36F：推 knifeking : 998299 01/13 21:13
37F：推 jmcgow11 : 喷喷喷喷喷 01/13 21:22
38F：→ alongalone : 这是..... 01/13 21:23
39F：推 doww : 华邦喷 01/13 21:24
40F：推 vodkalime607: 主力出不了货QQ 01/13 21:32
41F：推 lifeterry : 这些最後还不是要买矽晶圆 01/13 21:33
42F：推 aika5512308 : 我不小心买到记忆体，果然要崩了 01/13 22:53
43F：推 tennyleaz : 998299 01/13 23:03
44F：→ assian : 哇塞,AI server要消耗光所有资源是吧 01/13 23:43
45F：推 abc21086999 : 不就hashmap 01/14 12:07
46F：→ chatbra : 99群联 01/14 12:34