作者maplefff (降息の恐怖嘎鳄)
看板Stock
标题Re: [请益] 为何记忆体可以随便调涨毛利率那麽高
时间Fri Jun 26 08:41:59 2026
※ 引述《Pixma258 (乡民们!别争了!!)》之铭言：
: 乳题，为何记忆体可以疯涨价成这样
: 川狗一句话都不敢出来叫
: 但晶圆不行，涨价要涨的小心奕奕
: 川狗不时出来叫
: 如要论记忆体和晶圆，晶圆制造技术门槛更高
: 而且对AI基建晶圆重要性也绝对不会输记忆体
: 有没有记忆体可以随便喊涨那麽高的毛利率
: 晶圆不行
: 股价更是晶圆疯涨成这样，晶圆却被倒货
: 实在看不懂，想请教一下大家
「HBM容量每GPU大概每年增长40%以上
这条需求曲线的陡峭程度，是DRAM供给端 14% 的晶圆产能增长，
乘以 9% 的密度提升，很难追上的
在硬体领域，因为解码阶段KV快取的极高频宽
和极高记忆体容量的要求，也导致了HBM独特的地位。即便是HBM涨价三五倍，
把钱花在HBM上带来的边际token产出提升，仍然比花在其他地方要划算的多。
其他几个记忆体路线，SRAM，HBF，CXL，PIM，
目前都无法在HBM的主力赛道KV快取/解码阶段上正面竞争，
起码未来5年甚至更长时间，不太可能找到替代路线」
https://x.com/fi56622380/status/2070029693810847988?s=20
////////////
只要LLM还是当前自回归生成(AR, Autoregressive Generation)工程范式,
每生成1个token都需要搬运KV快取计算上文每一个token和下文的注意力(Attention)
那记忆体问题就是供给侧无解的问题, 因为LLM对记忆体频宽扩展的需求会是
token生成长度二次方增长.
将token生成长度1M token -> 10M token, 记忆体频宽需要扩展100倍
这远远高於现实世界工厂建设和制程优化的速度.
要解决该问题, 唯一的方法是从算法根本上去解决.
我很久之前就认为文本Diffusion模型很可能是下一代新工程范式
从流形假设的观点看Diffusion的生成更稳定, 从工程实践去看其生成更有效率
文本Diffusion模型可以一次性读取KV快取就透过GPU迭代生成大量token
目前工程实践可以做到一次生成256 token以上, 这表示KV快取搬运减少256倍
而未来显然会更长. 这会把当前的记忆体受限问题重新拉回到GPU, 算力受限问题上
关键的转折点会落在什麽时候上下文长度已经长到这个效益无法忽视
文本Diffusion模型, 随着前阵子Google释出开源DiffusionGemma, 使用起来差距
跟同参数量的AR模型已经在1~2个世代之内. 这表示文本Diffusion已经夸过研究阶段
正式进入工程实践和大规模部署可能.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.73.134.246 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1782434524.A.DB0.html
1F：推 danel801003 : 每个字都看得懂 组合起来就不懂 QQ 06/26 08:43
2F：推 cliff9350814: 推 06/26 08:43
3F：→ a282172002 : 到底为何要用晶晶体打文章 06/26 08:43
4F：→ totoro7923 : CXL应该是次方案分流 06/26 08:44
5F：→ cliff9350814: 回一楼 06/26 08:44
6F：→ bole : 换回GPU，台积电可以学美光宣布涨价10倍吗？ 06/26 08:45
7F：推 jason168 : 真的是隔行如隔山，完全看无... 06/26 08:47
8F：推 charlietk3 : 这文英文快比中文多了 06/26 08:47
9F：→ timTan : 这个很不晶晶体了吧。顶多memory 改记忆体 06/26 08:48
10F：推 roots5071 : 同一楼 06/26 08:48
11F：推 HiuAnOP : 最大的问题是记忆体没长进 不像逻辑 06/26 08:48
12F：推 kmtkmtkmt : 你这些Sentence比较difficult many版友read不懂 06/26 08:48
改一下, 有些词不用英文真的不知道要怎麽写
13F：→ HiuAnOP : 导致只能以量取胜 06/26 08:49
14F：→ shinewind : 这样就晶晶体，要求太多了吧，专有名词就很难用中 06/26 08:50
15F：→ shinewind : 文好好表达，台湾人习惯直接用英文名词吧 06/26 08:50
16F：→ timTan : 频宽需求应该没有二次增长吧 06/26 08:51
17F：推 ryryblue : 我觉得文不错 吐槽的自己等级不够 06/26 08:51
18F：推 shin123000 : 我看完了但我不记得看了什麽 06/26 08:54
19F：→ ppit : 现在科技进展这麽快,预测未来5年发展太难 06/26 08:54
20F：推 lolicat : 我还以为走错板 科普大神出现了吗 06/26 08:54
21F：推 timTan : Diffusion 在 Speculative Decoding，现在就可以用 06/26 08:55
22F：推 HiuAnOP : 光看近十年逻辑电晶体密度大概就赢几十倍 06/26 08:55
23F：→ timTan : 每次有新的 Diffusion Model ，我也很兴奋。 06/26 08:56
24F：→ timTan : 但就像原文说的，因为差了一点点，所以应用就局限 06/26 08:57
25F：→ timTan : 了 06/26 08:57
26F：→ offstage : 记忆体之所以随便调涨毛利，是因为记忆体可以随便 06/26 08:58
27F：→ offstage : 调涨毛利。 06/26 08:58
28F：推 Mikatuki : 基层逻辑没改就是HBM效益海放任何其他方案，这麽强 06/26 08:58
29F：推 v86861062 : 推推 06/26 09:01
30F：嘘 ast2 : 讲中文 06/26 09:01
31F：推 dio0204 : 晶晶体在哪....第一线的技术文章本来就这样 06/26 09:03
32F：推 youga : 看完了但好像又没看 06/26 09:03
33F：→ dio0204 : 觉得晶晶体的 八成也不是原PO想一起讨论的族群 06/26 09:04
34F：→ Altair : 第一手资讯通常是英文的 中译词很难精准表达 06/26 09:05
35F：推 tomdavis : KV cache搬运减少256倍 金融业会觉得记忆体要崩盘 06/26 09:05
36F：→ Altair : 且未必有大家共识的中译词可用 06/26 09:05
37F：→ Altair : 不习惯的就等二手资讯 但那时间就滞後了 06/26 09:07
38F：→ herculus6502: 问就是数学 06/26 09:08
39F：推 tomdavis : 只要有新闻是说加速 就会洗成硬体需求下降要跌 06/26 09:08
40F：推 wvotyyj5 : Nand准备接手喷， 06/26 09:09
41F：推 royhutw : 感谢分享 06/26 09:16
42F：推 ke1030 : 推推 06/26 09:18
43F：推 strlen : 看不懂的那这篇去问AI不就好了？提示词就打：把文 06/26 09:19
44F：→ strlen : 章改成连五岁小孩都看得懂 06/26 09:19
45F：→ LDPC : 不是啊 提示词应该是黄金猎犬都看得懂 电影有教 06/26 09:20
46F：推 atpx : 一堆领域都是只能这样混用吧，很多名词根本没有官 06/26 09:21
47F：→ atpx : 方统一、自己掰一个别人也看不懂 06/26 09:21
48F：推 b1izzard2000: 专业！ 06/26 09:21
50F：→ atpx : 黄金猎犬要看懂、那本篇文会变成一长串的吠叫声吧 06/26 09:22
51F：推 necrophagist: diffusion就目前多数生图模型在用的 瓶颈是算力不 06/26 09:22
52F：→ necrophagist: 是记忆体频宽 06/26 09:22
53F：推 Yoimiya : 有没有懒人包 06/26 09:22
54F：→ LDPC : @@上面电影影射高盛 老大都说用黄金猎犬听得懂话讲 06/26 09:23
55F：推 inuwanwan : Hbm涨也会灌在台湾对美的出口额吗 06/26 09:23
56F：推 casper955033: 结论是 All in MU 哈哈哈 06/26 09:28
其实结论是All in GOOG, 因爲GOOG在AI的各层面都有深入.
如果今天工程范式真的改变, GOOG是最有能力掉头的, 从人才培育, 模型理论,
针对新工程范式的ASIC晶片设计, AI infra建设维护, 资金实力.
总体实力都不是另外两家LLM能比的
那如果不变呢? 那表示Google Cloud这下要赚烂了
怎样Google都赢, 而且估值并不高
57F：推 jackshadow : 哪里晶晶体了 不是反串必定是文盲 06/26 09:29
58F：推 fisher6879 : 算法没更新前记忆体墙就是在那？是酱子的意思？算法 06/26 09:35
59F：→ fisher6879 : 更新就是记忆体末路？ 06/26 09:35
60F：推 bunjie : 建议这篇先经过翻译在打上来 提示词就直接用推文的 06/26 09:35
61F：→ bunjie : 内容 06/26 09:35
62F：→ LDPC : 黄金猎犬会赢 除非你是猫派@@ 06/26 09:35
63F：→ bunjie : 不然和复制贴上有87像 06/26 09:36
64F：→ strlen : AI：改好了 文章在下方：汪汪汪汪汪汪汪汪汪汪汪汪 06/26 09:37
65F：→ LDPC : 汪汪汪汪汪汪 喵 汪汪汪汪 06/26 09:38
66F：推 flycarb : 记忆体是真的缺，但缺也代表算法革新的效益很高 06/26 09:40
67F：→ strlen : 狗家等我记忆卡蛙赚完再来转仓 那时应该更低了 嘻嘻 06/26 09:40
68F：→ LDPC : 新算法到上路都要很久啊 看看SSM那号称压缩还是待解 06/26 09:41
69F：→ LDPC : 从有人把bert证明等效single text diffusion step 06/26 09:42
70F：→ LDPC : 到现在还是一堆 总之 汪汪汪汪汪 喵 汪汪 06/26 09:42
71F：推 sdbb : 谢谢 06/26 09:43
72F：推 flycarb : 推测，多次革新後导致堆记忆体加强AI表现趋缓才有解 06/26 09:43
73F：→ LDPC : 奇怪你们都不是狗派吗@@黄金猎犬这样可爱 06/26 09:43
74F：→ flycarb : 但真的还很久很久很久XDDD 06/26 09:43
75F：→ bnn : 99 GOOG 06/26 09:44
76F：推 ynanlin : 记忆体厂商当然是趁需求高坐地喊价大赚钱，但是现 06/26 09:45
77F：→ ynanlin : 在Frontier models用钱堆参数推智能後，原本想笑着 06/26 09:45
78F：→ ynanlin : 高价卖tokens给大量耗用算力的agentic AI换钞票， 06/26 09:45
79F：→ ynanlin : 但目前正被中国紧追在後的开放模型和充沛电能拦胡 06/26 09:45
80F：→ ynanlin : ，特别是OpenAI的订单可能在收入成长动能大转向後 06/26 09:45
81F：→ ynanlin : 有变化，目前还是多关注记忆体自以为可持续的抬价 06/26 09:45
82F：→ ynanlin : 态度会如何受到现实反噬吧！ 06/26 09:45
83F：推 edgar76321 : 高级文推 06/26 09:48
84F：→ LDPC : 汪汪汪汪 汪汪汪汪 06/26 09:51
85F：推 CorkiN : CPU/GPU house都有在想办法想设计要节省记忆体，但 06/26 09:52
86F：→ CorkiN : 记忆体越多效能越好的底层逻辑不变的情况下，记忆 06/26 09:52
87F：→ CorkiN : 体管你算法多强照样缺 06/26 09:52
88F：推 gwofeng : 嗯嗯跟我想的一样 06/26 09:53
89F：→ cchen : 太便宜不够尊贵 06/26 09:55
90F：→ mnmnooo : 就是炒作价格太高，毛利才吓人 06/26 09:57
91F：推 whyhsu : 好 06/26 10:02
92F：推 AsahiDRY : 越多资料 越多记忆体 = 喷 这次不一样 06/26 10:08
93F：→ fatb : 就是武功再强 还是比手上的枪能多快 06/26 10:08
94F：→ tomdavis : 节省记忆体 = 会被没料新闻业跟金融业解读成利空崩 06/26 10:11
95F：推 jimmy1112111: 那篇tf的论文也是goog发的，所以技术深度我是相信 06/26 10:17
96F：→ jimmy1112111: ，但他们技术领先这麽多，为什麽还是被oai和anthr 06/26 10:17
97F：→ jimmy1112111: opic打烂？ 06/26 10:17
98F：推 waitrop : 你哪里觉得被oai和anthropic打烂?网红说的?新闻说? 06/26 10:19
99F：→ waitrop : 除了coding某方面输anthropic,其他哪里有输了? 06/26 10:20
100F：→ waitrop : anthropic之前算力不足,大家没看到,oai有问题没看到 06/26 10:21
101F：→ waitrop : 但是大家每天用放大镜在看谷歌AI 06/26 10:21
102F：→ waitrop : 就跟安卓哀凤比较一样,有信仰的会检讨自己 06/26 10:21
103F：→ waitrop : 没信仰的,就算没问题也会质疑你 06/26 10:22
※ 编辑: maplefff (42.73.134.246 台湾), 06/26/2026 10:24:12
104F：→ sonicyang : 喊不懂的如果不是反串那我也是觉得蛮勇的 06/26 10:26
105F：推 NTHUlagka : 推推 06/26 10:31
106F：推 pponywong : open酱codex 5.5还蛮好用的 但是之前有新闻说人类学 06/26 10:40
107F：→ pponywong : fable5花了38分钟 就写出windows NT kernel 06/26 10:40
108F：→ pponywong : 再用opus 4.8 花了8天完成其他driver跟library 06/26 10:40
109F：→ pponywong : 结果真的可以跑windows NT程式 06/26 10:41
110F：→ pponywong : 以前上百名工程师好几年写的OS 一下就被AI做完了 06/26 10:41
111F：推 wangyl : 欢迎专业人士文章 06/26 10:45
112F：推 bala045 : 大部分也只是人云亦云 人类学特别会做公关就是了 06/26 10:47
113F：推 louner : 推text diffusion还没试过但一直很感兴趣 06/26 10:49
114F：推 yuro1470 : 科普文推 06/26 10:57
115F：推 turndown4wat: 台湾做不出HBM吗 06/26 11:04
116F：推 dirk007 : 专利问题？ 06/26 11:05
117F：推 qscNERO : 谢谢分享 06/26 11:07
118F：→ mtmmy : 到底为什麽会觉得这样是晶晶体 06/26 11:09
119F：→ offstage : 因为文章没有起承转合，随心所致。 06/26 11:10
120F：→ offstage : 看完全文之後，不确定结论是什麽。 06/26 11:11
121F：推 GiPaPa : diffusion产文字在目前还是追不上自回归 但有机会 06/26 11:23
122F：推 chatbra : GOOG不是一堆天才跳槽到其他家了？怎麽还是最大赢家 06/26 11:26
123F：推 sdbb : 天下武功出少林 天下AI出谷歌 06/26 11:29
124F：推 daniel6412 : 谢谢优文 06/26 11:30
125F：推 kevin1732 : 为什麽一定要有结论？ 06/26 11:32
126F：→ offstage : 今天雨下得很大 这样 06/26 11:39
127F：推 hanszaza : 谢谢优文 06/26 11:42
128F：推 GOPAPA : 跳槽的底下说不定有其它天才 06/26 11:44
129F：推 Tsukasa0320 : 看不懂的自己去玩一遍本地模型就懂了 06/26 12:03
130F：推 breathair : 谷歌变成记忆体的血包，唉 06/26 12:13
131F：→ breathair : 谷歌最大的问是的Gemini 3.5 Pro 从五月IO大会缺席 06/26 12:14
132F：→ breathair : 说六月会来，然後六月底AI大将不是去OAI 就是去A家 06/26 12:15
133F：→ breathair : 模型现在要延到7月，大将走了7月不知道出不出的来 06/26 12:15
134F：→ breathair : 以及出来的品质如何，要是Gemini没办法跟上模型第一 06/26 12:16
135F：→ breathair : 梯队，会有护成河松动的问题。这个目前还没被定价 06/26 12:16
136F：→ breathair : 目前只被定价记忆体血包，各大CSP都在跌 06/26 12:17
137F：→ breathair : 现在这个状况谷歌仓位不宜过重。QQ 06/26 12:19
138F：推 chuikov : 太深奥 06/26 12:40
139F：推 deolinwind : 翻译一下，google的gemma diffusion会让记忆体频宽 06/26 12:47
140F：→ deolinwind : 下降256倍，辉达alphabet继续涨，美光跌（是不是真 06/26 12:47
141F：→ deolinwind : 的就不重要了，股版不在乎 06/26 12:47
142F：推 myheartest : 你太抬举这边的人了 这边87%只想知道股票代号和点位 06/26 13:00
143F：→ offstage : 讲这麽多，如果还是无法明确表示该买还是卖，就是 06/26 13:01
144F：→ offstage : 没有意义的文章阿。就像非洲人有一半没有穿鞋子 06/26 13:01
145F：→ offstage : 你知我知上帝知，但这到底对卖鞋的来说是好还是坏？ 06/26 13:02
146F：推 Lhmstu : 推文本diffusion，应该是未来 06/26 13:14
147F：推 myheartest : 所以说啊 这阵子一堆投资网红都在讲基本面 06/26 13:15
148F：→ myheartest : 笑死 这种才是基本面 结果大家每天追消息当成基本面 06/26 13:15
149F：→ myheartest : 真正基本面超枯燥无聊一堆天书 06/26 13:15
150F：→ myheartest : 不是在那边谁抢单谁掉酖谁改规格好吗 06/26 13:16
151F：→ myheartest : 讲难听点那些网红所谓的基本面根本只是想追内线 06/26 13:16
152F：→ myheartest : 然後再用小学生简单乘法抓个目标价 大家拍拍手 06/26 13:17
153F：推 buddhawu : 好专业的文 06/26 13:22
154F：推 winken2004 : 推 06/26 13:27
155F：→ c41231717 : 觉得狗家团队太多了 他们不只一个模型在玩 他们网 06/26 13:57
156F：→ c41231717 : 页AI跟gemini还有LM用起来是完全不同的体验 06/26 13:57
157F：推 Xanphenir : 空间复杂度O(n^2)的演算法....是迟早要死没错 06/26 16:04
158F：推 timTan : 空间复杂度是线性。 06/26 18:04
159F：→ timTan : 现在用flash attention 是线性的 06/26 18:06