作者deepdish (Keep The Faith)
看板Stock
标题Re: [请益] AI伺服器成本分析——记忆体是最大的输家
时间Tue May 30 01:06:07 2023
觉得大家好像都看错重点吧
以前伺服器需要大量记忆体
是因为要维持即时服务非常多人的需求
就像 PTT 可以有十万人一起上站嘛
如果无法做到
就很像是被 DDOS 攻击
网站就连不上惹
但一到深夜 PTT 根本没啥活人在线上惹
然後现在是资料爆量的时代
譬如以抖音来说
甚至可以用 AI 去做人脸的影像分析
人脸影像分析可以在伺服器内部做的
那根本不需要做到即时分析
伺服器有空闲余裕的时候再做就好
所以成本可以降低没错阿
※ 引述《mooto (退出会比较好, 就退出)》之铭言:
: ※ 引述《neone (neone)》之铭言:
: : 刚看到半导体产业分析机构semianalysis的这篇新文章:
: : https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is
: : 虽然没付费只能看到部分
: : bing摘要:
: : 这篇文章的核心内容是分析人工智能伺服器的成本。文章指出,随着数据中心建设的疯狂
: : ,市场也随之疯狂。但是,有许多公司并不应该因此而受益。文章还提到,IT预算有限,
: : 因此Nvidia销售额的增长主要来自於购买较少的非GPU伺服器。文章中还提供了一个标准
: : CPU伺服器的成本分解,显示内存占伺服器成本的近40%。文章最後指出,在人工智能时代
: : ,普通伺服器的百分比将会下降,并且在数据中心转向加速计算时,各组件的成本分配也
: : 会发生重大变化。
: 老黄今天展示的那柜 Grace Hooper
: 就用了144TB GPU Memory 透过NVLink共享
: (NVLink是他们自研的SERDES
: 简单来说就是PCIe更快的介面)
: 所以重点只是高速 共享
: 记忆体还是存在的
: 还有也不用担心大家嫌贵不买啦
: 老黄今天不就列了1600家要做AI的公司
: 挖不挖得到金矿又不关他的事
: 只要铲子卖得出去就好了
: 这种时候大家都争抢先当第一个啦
: 有机会变成AI界的m$, adobe谁不干
: 在那边省小钱 到时候就看别人鼠钱
: 反正新创花的也不是自己钱
: 烧光当然是再继续吹
: 话说老黄真的值得领那个钱
: 美国人训练不是盖的
: 相比之下今天下午发哥找他来蹭
: 那些高层讲话的台风 投影片的格局 真的差好多喔
--
Q 人类基本需求2.0 ◢◣ █ 自我实现 创意.问题解决.真伪.自发性
S ◢██◣ █ 尊重需求 自尊.自信.成就感
W ◢████◣ █ 社交需求
E ◢██████◣ █ 安全需求
E ◢████████◣ █ 生存需求 空气.水.食物.住所
T ▄▄▄▄▄▄▄▄▄▄▄▄ █ WiFi█ 电池
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.227.216.247 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1685379970.A.A98.html
1F:→ yunf : 你也只讲到了一种层面的状况 05/30 01:24
3F:嘘 qwe78971 : 感觉你是文组的 05/30 01:50
4F:嘘 momvic110456: 喔 05/30 01:56
5F:嘘 cyshowen : 记忆体最好会变输家啦,需求是越来越高 05/30 02:00
6F:→ foxbrush : 你知道你在说门外汉的话吗? 05/30 02:10
7F:嘘 qq251988 : 可怜啊 菜成这样为什麽敢发言 05/30 02:18
8F:→ fakejoker : 是我太菜所以不懂你想表达什麽吗... 05/30 04:36
9F:嘘 darkangel119: 如果只是单方面思考单层问题 伺服器不是这样运作 05/30 04:48
10F:推 lu19900217 : 现在显卡的记忆体越来越多好嘛,尤其牵扯算力,记忆 05/30 06:51
11F:→ lu19900217 : 体越大越好,ai最好记忆体会少用 05/30 06:51
12F:→ timTan : 看不懂 05/30 07:02
13F:嘘 DB2 : 外行的拜托不要乱发文 05/30 07:33
14F:→ WarIII : 显卡如果不吃记忆体 为什麽显存也越来越大? 05/30 07:55
15F:→ Kobe5210 : 新手就潜水就好 05/30 08:09
16F:嘘 k85564 : ? 05/30 08:28
17F:嘘 kinki999 : 这ID不就AI 最大用户,连回答也是 05/30 08:43
18F:推 mqhung : 找AI来回答,可能会好一点。 05/30 08:51
19F:嘘 shhs1000246 : 你到底在讲啥 05/30 08:59
20F:嘘 QDR18 : ... 05/30 09:11
21F:嘘 ohsexygirl : 讲这麽多,怎不问GPT 05/30 09:15
22F:嘘 EDhsiao : 那你这种神逻辑,那麽散热也可以减少,成本可以变 05/30 09:18
23F:→ EDhsiao : 更低,反正伺服器有空再做运算就不烫了 05/30 09:18
24F:嘘 Xyla : 哩咧公杀小??? 05/30 09:27
25F:嘘 justdoit : 听君一席话 05/30 09:38
26F:推 lucky017110 : 显卡显存大应该现在游戏画面太精致图像处理太多要预 05/30 09:49
27F:→ lucky017110 : 先载入显卡记忆体中供GPU处理吧,不然容易卡顿读画 05/30 09:49
28F:→ lucky017110 : 面 05/30 09:49
29F:嘘 b0117 : 这种程度也赶回这文 05/30 10:28
30F:嘘 andysher : 我是觉得外行就不要硬要发文丢脸啦 05/30 10:56
31F:→ owennice : 你的主修是不是小喇叭 05/30 12:11
32F:嘘 zip00000 : 这神逻辑是有颗cpu或gpu其他都不用是吧? 05/30 14:04
33F:嘘 catboost : 你这回答是GPT教你讨嘘的吗 05/30 14:23
34F:→ eemail : 尖峰跟离峰问题....你扯到什麽去了@@ 05/30 16:58