作者LDPC (Channel Coding)
看板Stock
标题Re: [请益] 费半成份股全线崩盘 怎麽办？
时间Mon Jan 27 14:13:09 2025
DeepSeek这块有几个看法 Training端就等之後瓜出来再吃
在Inference这块 因为受限於MoE 所有推论成本可以降下来 但需求变高的是用记忆空间
和各个node之间的通讯开销 以及软体上cpu/gpu的load balance
以deepseek v3来说 600GB+ fp8 需要许多平行运算 这意味通讯瓶颈很重要
因为在切换专家时候 延迟会因此也跟者追加 而记忆体需求开销也很大
另外一点就是37B Activation是主因让推论可以成本下降 (不用全部671B来跑)
以h100来算这会让同样算力 成本下降10倍以上
但对算力晶片load balance和通讯跟记忆体开销需求也跟者增大
但对於同样算力可以提高10倍以上token产出
MoE好处就是更适合特制化的低成本下游任务 不适合泛化场景 所以不能用在机器人
这种场景多变任务上
这就代表 假设Deepseek最後成为低成本主流 这意味还是只有老黄能吃下它
(因为需要昂贵load blance 通讯开销 高需求vram)
ASIC那边不适合用在MoE架构 这些低成本就某种意义会解锁ai产品化
原本之前最大问题就是 现有的模型在Inference产生token的电力成本太贵
如果能让现有成本下降 这样才会能直接适用到消费端去
并不是说 提高tokens生产数量/单位算力 就等於减少铲子卖出
事实上 token数量/单位算力 过低 会造就无法ai模型落地化 反而产子卖不出去
最好的例子就是DeepSpeed (AI Backend 优化) 这玩意一年前 微软就用它来提高
tokens数量/单位算力 号称能增加1.5~3倍快同样算力 结果微软反而愿意花更多钱买算力
这波最大意义大概就是会变动推行MoE架构 然後ASIC死去 QQ 而老黄有NVLink
和垄断HBM产量 又有良好的cuda为主的AI Backend做load balance 感觉很难输
说到底 最简单的观察就是看1/23微软财报的资本支出 微软在01/03说出2025 80B
(Deepseek v3 12/26/2024 模型释出) 如果01/27资本支出维持原案 那就没啥太大担心
--
MoE缺陷:需要把所有专家放入内存 对显存(VRAM)压力需求高大 高熬贵通信成本
不利模型泛化性 适合单一任务(毕竟你只用了原本模型部分activation parameter)
※ 引述《keio5566 (56不灭)》之铭言：
: 是不是又是GG的胜利
: 能够用科技大头的5%成本就能开发AI
: 意味着行业的进入门槛变低，AI元年正式启动
: 最高端产品的销量受影响，但接下来市场要的是便宜堪用的产品
: AMD吃到一波红利，整体晶片代工需求继续增加
: 苦的是NV，GG依然赢麻了= =
: 大家恐惧我贪婪
: 2025年抄底GG的最佳时刻是否即将到来？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1737958391.A.808.html
※ 编辑: LDPC (76.21.72.78 美国), 01/27/2025 14:15:02
1F：推 HenryLin123 : NVDA > AVGO 吗？ 01/27 14:14
2F：推 acidrain : 海力士/美光利多 01/27 14:15
3F：推 davie11333 : 弄HBM的MU还有救吗 01/27 14:15
4F：推 ck326 : 微软支本支出不太可能有什麽变，时间这麽短 01/27 14:16
5F：推 aspirev3 : 想知道万润和法师的看法QQ 01/27 14:16
6F：推 MacBookAir12: 其实反而应该是AVGO 的利空...3661 3443... 01/27 14:20
7F：推 jumilin927 : 推 低成本的ai晶片不妙 01/27 14:20
9F：→ strlen : CEO也发推了 立场很清楚了吧 01/27 14:21
10F：推 Brioni : 资本支出不可能短时间修改+1 01/27 14:22
11F：推 qweaaazzz : 推推，好人一生平安 01/27 14:22
12F：推 MacBookAir12: 前一阵子有炒作一波ASIC 现在通通都要下去 01/27 14:22
13F：→ Brioni : 但股价可以短时间剧烈波动 01/27 14:23
14F：推 HiuAnOP : 其实更优的成本对软软，狗哥，雅麻，诈骗公司都是 01/27 14:23
15F：→ HiuAnOP : 长期利好 01/27 14:23
16F：→ HiuAnOP : 短期跌一下前期投入根本没差，祖大少元宇宙亏烂还 01/27 14:23
17F：→ HiuAnOP : 不是好好的 01/27 14:23
18F：→ MacBookAir12: 然後AIPC 或许可以提早放量 01/27 14:24
19F：推 JoshBeckeet : 但avgo 股价还未受到冲击 01/27 14:24
20F：推 Jerry469 : 3661死去 01/27 14:24
21F：→ MacBookAir12: 甚至不需要额外NPU去运算了<-这比较极端想法XD 01/27 14:24
22F：→ Brioni : 再来就是次级玩家不一定要追GB200、GB300 01/27 14:24
23F：推 s987692 : 那怎麽看AMD去抢推论这块？ 01/27 14:24
24F：推 jerrychuang : 99 MU 01/27 14:25
25F：→ MacBookAir12: AVGO可能要等市场开盘之後会比较清楚 01/27 14:25
26F：→ MacBookAir12: 现在美国那边还是27号凌晨 01/27 14:25
27F：推 abcd5566 : 如果是有效率的话 资料中心一定越盖越多 01/27 14:25
28F：推 jumilin927 : ASICㄘㄨㄚ、勒蛋 01/27 14:25
29F：→ zer0319 : 如果DS能这麽低成本达成80%水准，那这些大头应该是 01/27 14:26
30F：→ zer0319 : 研究怎麽让资本支出跟成效比例合理，而不是降低支出 01/27 14:26
31F：→ zer0319 : 吧，不然这些大头一堆现金要干嘛 01/27 14:26
32F：推 uuuc1223 : 请问交换器需求的看法？ 01/27 14:28
33F：→ Brioni : 根据过往Cost down财报喷！股价喷！ 01/27 14:29
34F：推 MacBookAir12: 能不能COST DOWN 我觉得先看论文 可不可能重现 01/27 14:30
35F：推 sheep2009 : 利多吧 一堆人加入ai反而csp要更多算力租借出去 01/27 14:30
36F：→ MacBookAir12: DS使用类似当初GOOGLE 围棋那套方式去自我训练 01/27 14:30
37F：→ MacBookAir12: 然後5万张H100 传闻也不知道真假XD 01/27 14:31
38F：→ MacBookAir12: 不过MoE模型的确是可以有效降低成本 这没错 01/27 14:31
39F：→ MacBookAir12: 最後变成是贾维斯跟事务型机器人的对决XD 01/27 14:32
40F：→ zer0319 : 最终目标还是拼出AGI，其他都是过渡 01/27 14:33
41F：推 aegis43210 : 还早，各大厂可以用DSP来提前适应新的推论需求，而 01/27 14:33
42F：→ aegis43210 : 记忆体方面用HBM2E也足够应付推论需求 01/27 14:33
43F：→ aegis43210 : DS这套不可能成为AGI，这是提前耗尽潜力的模型 01/27 14:36
44F：推 King530678 : 结论：NV 多更多 01/27 14:36
45F：→ CCH2022 : 的确，NV LINK还是优势，与软体的平衡。AI基建的需 01/27 14:39
46F：→ CCH2022 : 求还是持续。 01/27 14:39
47F：推 onekoni : 推分析 谢谢 我差点想成反的方向 01/27 14:39
48F：推 tsukuyomii : 以美股现在来看 感觉是NV AVGO TSM三杀 01/27 14:39
49F：推 onekoni : 短线通杀一定的 重点是杀完买谁 01/27 14:40
50F：→ onekoni : 年後有杀来买点老黄@@ 01/27 14:41
51F：推 dani1992 : 论文里就写alphago那套MCST失败了，是怎麽看的 01/27 14:41
52F：推 s800525 : 第一天看科技股？通常消息出来都先涨/杀，之後再来 01/27 14:42
53F：→ s800525 : 澄清再反转，都怀疑那些资金趁消息出来故意拉/压股 01/27 14:42
54F：→ s800525 : 价作法 01/27 14:42
55F：推 Brioni : 杀完整理筹码继续往上 01/27 14:42
56F：推 kill2400 : 可是股价不是这样反应喔 01/27 14:42
57F：推 sharkpops : 不过我刚刚请他帮我读个股报告 说报告内容违反政策 01/27 14:42
58F：推 tsukuyomii : AVGO不止做ASIC 交换器 网通 光通讯都做 就算没AI A 01/27 14:43
59F：→ tsukuyomii : SCI也是持续成长的东西 AVGO就算这个利空也很难崩跌 01/27 14:43
60F：→ tsukuyomii : 毕竟她产业太多样 01/27 14:43
61F：推 jumilin927 : 杀完如果最终评估不受影响还是喷回来 哪次不是这样 01/27 14:44
62F：推 JoshBeckeet : 总觉得华尔街不会乱买再乱杀XD 01/27 14:45
63F：推 sharkpops : 应该是指完全不依赖人类知识...接近alphazero... 01/27 14:46
64F：→ sharkpops : 华西街最擅长的就是乱买跟乱杀啊XD 01/27 14:46
66F：→ jacktypetlan: 很有趣 可以自己去问看看 01/27 14:49
67F：推 watashino : 认真文 给推 好人 01/27 14:49
68F：推 dongdong0405: 这才是有料的发文 不像那些无脑黑无脑吹的 01/27 14:53
69F：→ squelch : GPT-4 不也是 MoE? 差在哪里? 01/27 14:53
71F：→ vicklin : 很久以前PTT这种很多.. 01/27 14:53
72F：→ squelch : 问题是这篇怪怪的，机器人如果不联网。 01/27 14:54
73F：→ squelch : 请问凭机器人有限的算力与记忆体 能使用什麽模型? 01/27 14:55
74F：→ squelch : 机器人问题跟自驾系统是一样的。 01/27 14:56
75F：推 audic : 感谢好人一生富贵 01/27 15:00
76F：推 allen0080 : 优质好文。 01/27 15:00
77F：推 ImHoluCan : 推 01/27 15:03
78F：推 JoshBeckeet : NV盘前7%了？真嘟假嘟 01/27 15:09
79F：推 fuhoho : 推 01/27 15:11
80F：→ IBIZA : NV差不多跌7%没错 01/27 15:20
81F：→ IBIZA : 不过现在还不到盘前时间 是黑池交易所跟券商内部 01/27 15:22
82F：→ IBIZA : 报价 01/27 15:22
83F：推 JoshBeckeet : 达人说TSM也快7%了，真的是腥风血雨 01/27 15:26
84F：推 patri0052 : 今天晚上可以接刀子吗 01/27 15:27
85F：→ IBIZA : TSM -6.57% 01/27 15:28
86F：→ pilimew : HBM只是这几年的过渡期产品，没跟上的不需要追高。 01/27 15:32
87F：→ bnn : 讲白了 你人类接上网之前怎麽学习的就怎麽学习 01/27 15:33
88F：→ bnn : 不联网只是比较智障 但你很多工作本来也只需要智障 01/27 15:33
89F：→ bnn : 一堆训练真的需要联网吗 他这模型是在节省训练&记忆 01/27 15:34
90F：→ s860703 : 开盘台积连跌停两天我就相信 01/27 15:36
91F：推 cosmite : 好人推 01/27 15:38
92F：→ vicklin : 这种极端工作条件总感觉有免洗军用衍生的用途 01/27 15:41
93F：推 zxzx8059 : nv出了比avgo还猛的pcie sw才会是avgo利空 01/27 15:43
94F：推 Brioni : 让子弹飞一会儿 01/27 15:46
95F：→ wed1979 : 记忆体跟SSD不就长江库存超多，换别的地方还真没这 01/27 15:48
96F：→ wed1979 : 条件 01/27 15:48
97F：推 popo123456 : Chatgpt meta google Amazon 早晚会下去吧,中国用免 01/27 15:58
98F：→ popo123456 : 费跟你竞争,怎麽玩下去 01/27 15:58
99F：嘘 cht12341234 : 我是相信後年b通就会让老王吃屎 01/27 15:58
100F：→ cht12341234 : nvlink没那麽厉害 01/27 15:59
101F：推 pucca068 : 这重点不是大陆不再受到美国限制吗…..如果ai可以 01/27 16:01
102F：→ pucca068 : 自己研发到这程度话～世界就不再是美国说了算欧～ 01/27 16:01
103F：→ pucca068 : 单纯讨论公司间的影响的话～我觉得意义不大～ 01/27 16:02
104F：推 s1001326 : 谁可以寄信给教主发文 快疯了 01/27 16:15
105F：→ roseritter : 记忆体要HBM吧 长江也有这麽多吗 01/27 16:15
106F：推 oGsMvP : 99 B康 01/27 16:19
107F：推 beavertail97: 跌深就是给上车的，赶快开盘 01/27 16:24
108F：推 ubei : 长江有做HBM吗？我记得没有吧... 01/27 17:00
109F：推 ymlin0331 : AVGO的ASIC是CSP大厂自研晶片 01/27 17:48
110F：→ ymlin0331 : 怎麽可能没有量？傻傻的 01/27 17:48
111F：推 sean667cd : 参考了LD大和其他论述、这几天想一想，推出来了後续 01/27 18:15
112F：→ sean667cd : 方向也差不多，LD大猛 01/27 18:15
113F：→ poru : 有我川在.美国AI绝不可能输的 01/27 18:18
114F：→ poru : 反倒会激起我川更激烈的管制 01/27 18:19
115F：→ sean667cd : LD大後续会布 CRM , SAP (SAAS) / PLTR (特定API) 01/27 18:21
116F：→ sean667cd : 领域麻，算力成本、选择变多情况下游，我觉得应该受 01/27 18:21
117F：→ sean667cd : 惠 01/27 18:21
119F：推 nina801105 : 2/3日红盘日，世芯跟台积电开盘跳空跌停锁死 01/27 18:49
120F：推 joseph2616 : 前面一堆废文 01/27 18:58
121F：→ joseph2616 : 这篇才是有效讨论 01/27 18:58
122F：推 josephpu : ASIC出世AMD遭殃，DS出世ASIC遭殃，99苏妈 01/27 19:34
123F：推 ksjr : 不过deepseek r1 一个礼拜前01/20才出 01/27 22:33
※ 编辑: LDPC (76.21.72.78 美国), 01/28/2025 00:57:17