Stock 板


LINE

刚看到半导体产业分析机构semianalysis的这篇新文章: https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is 虽然没付费只能看到部分 bing摘要: 这篇文章的核心内容是分析人工智能伺服器的成本。文章指出,随着数据中心建设的疯狂 ,市场也随之疯狂。但是,有许多公司并不应该因此而受益。文章还提到,IT预算有限, 因此Nvidia销售额的增长主要来自於购买较少的非GPU伺服器。文章中还提供了一个标准 CPU伺服器的成本分解,显示内存占伺服器成本的近40%。文章最後指出,在人工智能时代 ,普通伺服器的百分比将会下降,并且在数据中心转向加速计算时,各组件的成本分配也 会发生重大变化。 分析cpu server和ai server的成分价格 概念不错 https://i.imgur.com/mHf654R.png
但intel server没把gpu+switch baseboard部分的价格抓出来来比 就说忆体几乎是伺服器成本的40% 问号? --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.226.155.185 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1685369616.A.A84.html
1F:→ appledick : AI伺服器会走AWS那种营运模式啦,真以为每家公司自 05/29 22:17
2F:→ appledick : 己架设自己要的AI伺服器喔?头壳坏才这样搞,就连Op 05/29 22:17
3F:→ appledick : enAI 微软都砸多少钱花了几年 05/29 22:17
4F:推 YU1225 : 尬死空军总部 05/29 22:17
5F:推 wingstar : 这篇文章的成本计算好奇妙, 05/29 22:17
6F:推 jiansu : 大老黄买越多(Gpu)省越多(cpu) 应该是真的server总 05/29 22:19
7F:→ jiansu : 数量可能下降 Ai server占比大提升… 05/29 22:19
8F:推 Kleiza : 这样GG是受益者还是受害者啊? 05/29 22:30
9F:推 ip102 : 把原本记忆体的费用转向高速运算了 05/29 22:33
10F:推 Buddy : SmartNIC成本是过去的16倍 那间台厂不就赚爆 05/29 22:33
11F:推 popo123456 : 所以爽到韩国hbm记忆体 05/29 22:34
12F:→ william7713 : memory这麽贵是用CXL吗... 这谁算的啊 05/29 22:36
13F:推 stosto : 爽到海力士 05/29 22:37
14F:推 easygo : 99旺宏 05/29 22:39
15F:推 nangaluchen : 最近确实这种论述蛮多的 05/29 22:39
16F:→ nangaluchen : 但这个论述的逻辑是有漏洞的 05/29 22:39
17F:→ nangaluchen : 基本上建立在AI伺服器和一般伺服器是替代品 05/29 22:39
18F:→ nangaluchen : 但其实并不是 05/29 22:39
19F:→ nangaluchen : 若一般伺服器能做到AI伺服器能做的事 05/29 22:39
20F:→ nangaluchen : 那不会有人愿意买AI伺服器 05/29 22:39
21F:推 nangaluchen : 2023的预算已经订了 短期确实会这样搞 05/29 22:42
22F:→ nangaluchen : 但2024後 其实应该是整体资本支出往上喷 05/29 22:42
23F:→ nangaluchen : AI伺服器的资本支出是额外往上加的 05/29 22:42
24F:→ nangaluchen : 而非用於取代一般伺服器 05/29 22:42
25F:→ nangaluchen : 拿AI伺服器来做一般伺服器能做的事 05/29 22:44
26F:→ nangaluchen : 也很不合逻辑 05/29 22:44
27F:→ mooto : 老黄今天不是有说吗 cpu伺服器又贵又耗能 你可以买 05/29 22:46
28F:→ mooto : 低阶的gpu 一颗gpu就抵n颗cpu 这样还是比较省阿 05/29 22:46
29F:推 nangaluchen : cpu跟gpu适合的任务是不同的 05/29 22:48
30F:→ nangaluchen : 如果gpu能完美取代cpu 那nv早年不会那麽惨 05/29 22:48
31F:→ nangaluchen : 很多东西不能只看算力和能耗 05/29 22:49
32F:推 saygogo : 狙击枪跟散弹枪不能拿来比较 05/29 22:50
33F:→ mooto : 你讲的是"伺服器" 你如果是要做其他用途 譬如储存 05/29 22:50
34F:→ mooto : 你就买NAS阿 cpu当然不可能消失 只是在算力上面 05/29 22:51
35F:推 nfsong : 今天新的 gh200 直接存取记忆体用很凶 05/29 22:52
36F:→ nfsong : 低电压记忆体 05/29 22:52
37F:→ nfsong : 特点是今天有卖高级switch 05/29 22:52
38F:→ nfsong : 而且全部走光纤 05/29 22:53
39F:→ mooto : gpu是更好的选择 没有人说不能买篮球鞋跑步 05/29 22:53
40F:→ nfsong : Spectrum-X 4奈米 05/29 22:53
41F:→ nfsong : 64port 800G光纤速度 05/29 22:54
42F:推 nangaluchen : 你搞错意思了 一般伺服器也不会配备gpu 05/29 22:55
43F:→ nangaluchen : 两颗cpu就能解决的事 何必多配gpu? 05/29 22:55
44F:→ nangaluchen : 特别是你加gpu 要拿来干嘛? 05/29 22:55
45F:→ nangaluchen : 就没适合的任务给他算啊 05/29 22:55
46F:→ nfsong : 顺边做网通 05/29 22:55
47F:推 aegis43210 : H100还是要用到SPR,i皇还是有得赚 05/29 22:56
48F:→ nangaluchen : 绝大部分的应用 根本不需要那麽高的算力 05/29 22:56
49F:→ nangaluchen : 反而是cpu更适合多功处理 取代个毛 05/29 22:56
50F:→ nfsong : DGX GH200 , 144TB 直接存取记忆体 !!! 05/29 22:57
51F:→ mooto : 已经没人会叫两颗cpu的机器伺服器了 那个是个人电脑 05/29 22:57
52F:→ nfsong : 1 ExaFLOPS 05/29 22:57
53F:→ nfsong : 一台大概2000多颗 记忆体颗粒 三家买 大概6000多个 05/29 22:58
54F:推 nangaluchen : 而且老实讲啦 nv就最没资格讲低功耗 低成本 05/29 22:58
55F:→ nangaluchen : 就算不用ai chip 05/29 22:58
56F:→ nangaluchen : 消费级的gpu 也快跟server cpu差不多贵了 省个毛 05/29 22:58
57F:→ mooto : 你要抬杠就去抬杠吧 XD 谁不知道cpu的指令集更泛用 05/29 22:58
58F:→ nfsong : 其实还是个人电脑市场 的记忆体用量比较大 05/29 22:59
59F:→ mooto : 如果没人care你说的这种应用要怎麽配置了 讲难听一 05/29 22:59
60F:→ mooto : 点就是很多x86能做的事情arm也能做 那你买手机还会 05/29 23:00
61F:→ mooto : 去想要怎麽配吗 买PC还会去文书机怎麽组吗 05/29 23:01
62F:推 nangaluchen : 目前绝大部分的伺服器 仍是配备2颗 05/29 23:01
63F:推 aegis43210 : 记忆体是输家??未来CXL3.0普及就更需要大量记忆体, 05/29 23:02
64F:→ aegis43210 : 加上记忆体内运算是未来趋势 05/29 23:02
65F:推 la8day : 记忆体 又是你 你最烂 05/29 23:03
66F:→ aegis43210 : 如果只是讲Flash,那的确是输家 05/29 23:03
67F:推 s860134 : 买越多越省钱 05/29 23:04
68F:→ nfsong : 恩 单一个GH200的小型server 576G的记忆体 05/29 23:04
69F:→ nfsong : 有1000多家合作厂商 人人买一台小型的 也不少 05/29 23:04
70F:→ nfsong : the more u buy the more u save指的是AI算力 05/29 23:05
71F:→ nfsong : 而且老黄今天说 算力还在往上冲 05/29 23:05
72F:→ nfsong : 要用传统的server 跟他的cuda tensor cores 05/29 23:06
73F:→ nfsong : 已经被甩到看不到车尾灯了 05/29 23:06
74F:→ nfsong : 10年前就1台抵10台了 05/29 23:06
75F:→ mooto : 我不觉得flash会是输家~别忘了flash成本下降也是很 05/29 23:07
76F:推 Kobe5210 : 感谢分享 05/29 23:07
77F:→ mooto : 快的 有个说法再5年 SSD就会取代传统的HDD 05/29 23:07
78F:推 jiansu : 模型目前越来越大 记忆体需求增加 training 你限制 05/29 23:08
79F:→ jiansu : 只能用Nv 但目前还是有很多inference 用Cpu70%?, 05/29 23:08
80F:→ jiansu : chatgpt 给你用的就只是inference 如果一堆infer 05/29 23:08
81F:→ jiansu : ence都有Gpu或asic加速 确实server需求可能会降 05/29 23:08
82F:推 ben811018 : 伺服器要建置成本超高 05/29 23:08
83F:推 hihjktw : 我怎没看到20T的SSD 05/29 23:09
84F:推 nangaluchen : 目前 llm inference 也是用 ai server 05/29 23:10
85F:→ nangaluchen : 只是不用配到H100 但主流应仍配备A100 05/29 23:10
86F:→ bobjohns : 看起来 三星记忆体又要大赚 晶圆代工满血复活。 05/29 23:13
87F:→ mooto : 你问这之前要不要先google....2年前就在卖100T了 05/29 23:14
88F:推 nfsong : 老黄除了拉抬gg一把 还救了三星和美光阿!! 05/29 23:17
89F:推 pisu : 目前伺服器类股都喷出 05/29 23:20
90F:嘘 a000000000 : semianalysis的东西看看就好 不过也没啥人认真研究 05/29 23:21
91F:→ a000000000 : 然後一楼那葛论点=粪 smci这一年多喷多少 05/29 23:21
92F:→ a000000000 : 4说原po尼到底有没看他整篇 他下面94加ai卡的成本 05/29 23:23
93F:→ a000000000 : inference用cpu是牙膏的论点 05/29 23:24
94F:→ a000000000 : 牙膏说九成的ai行为是inference 然後inference 05/29 23:24
95F:→ susanmm : 基本上他就不是消费性电子产品 05/29 23:24
96F:→ a000000000 : 60%在cpu上面 05/29 23:25
97F:→ a000000000 : 详细数据可能有些错 不过牙膏那论点跟大便依样 05/29 23:25
98F:推 FlynnZhang : 感谢教主开示 05/29 23:25
99F:→ a000000000 : 因为简单的ai像照相抓人脸那种 手鸡cpu就做掉惹 05/29 23:26
100F:→ a000000000 : 跟牙膏也无关 05/29 23:26
101F:→ mamorui : 美光真的感恩 上周快摸到75 香喷喷 05/29 23:26
102F:→ a000000000 : 接下来的时代重点是生成型ai会普及 运算需求爆炸 05/29 23:27
103F:→ a000000000 : 从server到手机 半导体需求也会大爆炸 05/29 23:27
104F:→ a000000000 : dram厂也会受惠 05/29 23:27
105F:→ neone : 谢教主哥提点 偶是被那空一栏不计误导了 05/29 23:32
106F:→ TaiwanUp : 我快要知道金富力士等11个人如何可以制作贪婪之岛 05/29 23:34
107F:→ bnn : 有在跑运算的 记忆体不会省 05/29 23:36
108F:→ bnn : 只能说 记忆体不是gating 也不会爆发多少 05/29 23:37
109F:推 julyjuly : $1T用小钱买麻花卷 再多也做一样的事 就too much 05/29 23:37
110F:→ TaiwanUp : 一级玩家的绿洲看起来似乎也是由剧中哈勒戴一人制作 05/29 23:37
111F:推 Liberl : 定锚昨天就有说 用GPU做AI伺服器只是初步阶段 05/29 23:50
112F:→ Liberl : 未来还是会回归CPU 05/29 23:50
113F:推 madeinheaven: 未来AI运算还有MRAM记忆体内运算 三星已做出原型 05/29 23:52
114F:推 easyman : 所有扯到inference HW, 都要多吃RAM 05/30 00:00
115F:→ easyman : 不管是 notebook, 手机, 甚至 蓝芽audio, GPS .. 05/30 00:00
116F:→ easyman : 这种小到不行的MCU要跑AI都要加RAM 05/30 00:03
117F:推 fortesv : 所以美国黄董会跟台湾惶懂合作吗? 05/30 00:16
118F:推 b0117 : 我预估记忆体内运算至少还要等三年 05/30 00:18
119F:→ b0117 : AI列车早就开了,谁还跟你等记忆体内运算,而且SoC 05/30 00:20
120F:→ b0117 : 的command要不要变都还是个问题,PIM也会造成capac 05/30 00:20
121F:→ b0117 : ity下降 05/30 00:20
122F:→ b0117 : IO BW足够支撑算力,其实PIM不见得是市场趋势 05/30 00:22
123F:→ easyman : 记忆体内运算...你要确定model改了你还算得出来 05/30 00:25
124F:→ sachung28 : 很久前gpu吃浮点尾数的小问题不知改正没有 旧cpu版 05/30 00:28
125F:→ sachung28 : 程式除非遇到严重效能瓶颈 修改的成本还是高 gpu推 05/30 00:28
126F:→ sachung28 : 了十多年才终於冒出头 05/30 00:28
127F:→ sachung28 : 记忆体内运算记得也做好一阵子了 跟gpu/cpu二回事吧 05/30 00:30
128F:→ sachung28 : 那是省写硬碟的时间 05/30 00:30
129F:推 b0117 : 不过dram需求一定会跟着AI发展水涨船高 05/30 00:50
130F:→ b0117 : 记忆体会是成本输家?这逻辑我无法参透 05/30 00:51
131F:推 bring777 : 记忆体高阶技术成本降不下来吗?学一下晶片 05/30 01:02
132F:→ protoss : 记忆体内运算是啥意思?运算永远在处理器里吧...还是 05/30 02:54
133F:→ protoss : 说冯纽曼的架构大改了?顶多就把整颗硬碟塞进Ram... 05/30 02:55
134F:→ protoss : 就开机的时候特别久...不过记忆体分层发展至今应该 05/30 02:56
135F:→ protoss : 差不了那点IO了吧... 05/30 02:56
136F:→ protoss : 记忆体一直是效能的gating啊...不足就等着慢...不过 05/30 02:58
137F:→ protoss : 超过的确是不会爆发什麽...就是不卡系统运算天限... 05/30 02:59
138F:推 AmigoSin : 楼上PIM参考一下 05/30 04:00
139F:推 bj45566 : GDDR6-AiM -- SK hynix 在 ISSCC 2022 发表的论文(& 05/30 04:36
140F:→ bj45566 : 展示晶片),人类在半导体技术的进步将带领电脑突破 05/30 04:36
141F:→ bj45566 : von Neumann bottleneck 05/30 04:36
142F:→ bj45566 : tinyurl.com/5n6unnby 05/30 04:38
143F:嘘 kidd100 : 人工智慧 05/30 07:47
144F:推 awss1971 : https://i.imgur.com/X0Kto9H.jpg 05/30 07:58
145F:→ k85564 : 为啥是输家? 因为%下降? 05/30 08:25
146F:→ k85564 : AI伺服器哪有可能回到CPU为主... 05/30 08:26
147F:推 zhi5566 : 云端AI越来越强 手机有必要升级吗? 不是都丢到云吗 05/30 08:49
148F:推 aegis43210 : 边缘运算,因为资安因素,终端设备也要有一定算力 05/30 09:37
149F:推 b0117 : 边缘运算市场一定会有,资安问题是一点。再来就是b 05/30 10:57
150F:→ b0117 : usiness问题,edge端的产品可以玩的公司比较多 05/30 10:57
151F:→ snoopy790428: 什麽都要订阅一下以为人人受得了吗 05/30 11:42
152F:推 mrWillyyang : 图应该是一般server吧 一般的泛指没装GPU 05/30 12:52
153F:推 vodkalime607: 今天记忆体狂喷 ?? 05/31 09:21
154F:推 Petrovsky : ptt骨神超多 05/31 14:39







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Gossiping站内搜寻

TOP