作者jacknavarra (阿姆羅)
看板Stock
標題[新聞] GPU泡沫要破了?H100租賃價格崩跌至每小
時間Thu Oct 17 10:09:25 2024
原文標題:
GPU泡沫要破了?H100租賃價格崩跌至每小時2美元 專家:投資者宜分散投資
原文連結:
https://news.cnyes.com/news/id/5743500
發布時間:
鉅亨網許家華 綜合外電 2024-10-16 11:24
記者署名:
鉅亨網許家華
原文內容:
根據紅杉資本的最新報告,AI 產業的年產值已超過 6000 億美元,足以支撐數據中心及
加速 GPU 卡等 AI 基礎設施的開支。隨著基於 A100 GPU 系列的 GPT-3.5 與 ChatGPT
的推出,AI 競賽自 2022 年 11 月 30 日以來迅速升溫,市場對高效能 GPU 的需求激增
。
然而,基礎模型訓練的資本支出被廣泛認為是 「歷史上貶值最快的資產」,而關於 GPU
基礎設施支出的評估尚未明確,市場競爭依然激烈。
以 OpenAI 為首的大型模型公司,其訓練與推理支出已超過收入。OpenAI 最近在有史以
來最大的風險投資輪中籌集了 66 億美元,並預計到 2026 年將面臨高達 140 億美元的
虧損。與此同時,輝達的新一代 Blackwell 系列晶片已交付給 OpenAI,並表示未來一年
的產品已售罄,輝達 (NVDA-US) 執行長黃仁勳稱這可能是行業歷史上最成功的產品之一
。
在 AI 基礎設施層面,數十億美元的投資究竟是促進行業繁榮還是形成泡沫,成為市場熱
議的話題。
OneFlow 市場分析師 Eugene Cheah 深入研究了 H100 SXM GPU 的投資回報率(ROI),
指出由於預留計算資源的轉售、開放模型的微調以及基礎模型公司的減少,市場上的
H100 算力已經供過於求。H100 的租賃價格從去年的每小時 8 美元降至如今的低於 2 美
元,顯示出市場的劇烈波動。
Cheah 建議用戶在需要時租用算力,而不是進行高額購買。對於按需租賃的 ROI,當租賃
價格在 2.85 美元 / 小時以上時,投資者的內部收益率(IRR)仍可保持在合理範圍內。
然而,若價格降至 1.65 美元 / 小時以下,則作為基礎設施提供商的虧損風險將大幅上
升。
在長期租賃方面,許多基礎設施提供商曾在高峰期以每小時 4 美元的價格簽訂合同,如
今卻面臨市場價格的急劇下跌。隨著開放權重模型的興起,企業逐漸轉向微調現有模型而
非從零開始訓練,這一轉變進一步減少了對 H100 的需求。
當前 H100 的價值鏈清晰可見,從硬體供應商到數據中心基礎設施提供商,再到風險投資
基金和算力轉售商,各個環節相互交織,形成了複雜的市場生態。市場的變化引發了對未
來 AI 基礎設施投資的深思,Cheah 警告稱,當前的 H100 硬體支出可能會導致虧損,投
資者應考慮將資金分散到其他領域或股票市場,以獲取更好的回報。
當前 GPU 市場的劇烈波動預示著 AI 基礎設施投資的複雜性,投資者需謹慎評估風險與
機會,以應對未來可能出現的市場挑戰。隨著市場趨勢的變化,如何在這個充滿不確定性
的環境中做出明智的投資決策,將成為未來的重要課題。
歸納 H100 租賃價格大跌 (降至 2 美元 / 小時) 之主要因素:
1. 供需失衡:
隨著 AI 技術的快速發展,對高效能 GPU 的需求在 2022 年和 2023 年達到高峰,尤其
是在大型模型的訓練和推理上。然而,隨著市場逐漸飽和,供應商開始面臨供過於求的情
況,導致價格下滑。
2. 競爭加劇:
市場上有越來越多的公司進入 GPU 租賃市場,尤其是一些小型和中型企業,它們提供更
具競爭力的價格和服務,進一步壓低了租賃價格。
開放模型的興起:
開放權重模型的出現使得企業能夠使用現有的模型進行微調,而不必從頭開始訓練,這降
低了對新硬體的需求,進一步影響了 H100 的租賃需求。
投資回報率下降:
H100 SXM GPU 的投資回報率(ROI)受到市場價格波動的影響,當租賃價格降至某一水平
以下,投資者將無法獲得合理的回報,進而選擇減少租賃或購買。
3. 技術更新與替代品:
隨著輝達推出新一代的 Blackwell 系列晶片,市場對 H100 的需求可能會受到影響,因
為新技術可能提供更好的性能和成本效益。
4. 經濟環境影響:
全球經濟環境的不確定性,包括通貨膨脹和利率上升,導致企業在資本支出上更加謹慎,
從而減少了對高價 GPU 的需求。
這些因素共同推動 H100 租賃價格從去年的每小時 8 美元驟降至如今的 2 美元,顯示出
市場的劇烈波動與不穩定性。
心得/評論:
※必需填寫滿30正體中文字,無意義者板規處分
昨天這篇新聞包含自由財經也引述報導了, 但看板上還沒出現這篇新聞
透過租賃市場的供需看待GPU算力是否過剩蠻有意思的
其中分析的第三點, 因為新一代 Blackwell 系列晶片開始投入市場
所以是導致H100的租賃價格下跌到 2 美元/小時 的主要原因嗎?!
抑或是真的市場算力過剩了???
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.227.145.14 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1729130967.A.762.html
1F:推 h75221 : 來嘍 鬼故事嗎 10/17 10:10
2F:→ Heyer : 大家都自己買 誰還要租 10/17 10:11
3F:噓 junior020486: 笑死,又要騙票 10/17 10:11
4F:推 olaerc23564 : 好 各單位集中火力 10/17 10:11
5F:→ ter2788 : 中國那邊早就殺了 也沒繃阿 10/17 10:11
6F:推 goodevening : 不是很正常??現在就沒殺手級運用阿 科技巨頭都是 10/17 10:11
7F:→ goodevening : 怕FOMO 等未來吧 10/17 10:11
8F:推 etset : 不是早就講了 買越多省越多 10/17 10:11
9F:→ etset : 算力要貶值幾萬倍 AI才會普及 10/17 10:12
10F:推 Adrian : 等到可人人自產a片再來煩惱算力過剩 10/17 10:14
11F:→ gprs910 : 好 你害怕 我先買 10/17 10:14
12F:推 onekoni : 鬼故事來囉 又要騙散戶廖廖的地方 10/17 10:15
13F:推 a069275235 : 真的假的啦= = 跟高檔網咖差不多錢@@ 10/17 10:15
14F:→ knives : GB200都要出來了,誰還要用舊的 10/17 10:15
15F:→ onekoni : NV回90記得歐印 10/17 10:15
16F:→ moom50302 : 這種都是直接買來長期投資AI領域的,誰在租…… 10/17 10:16
17F:推 tmdl : 大陸一堆 10/17 10:16
18F:→ ahwung : 如果租很便宜,那也是一個選擇 10/17 10:17
19F:推 QooSnow : 「雞蛋架!」「一級棒!」 10/17 10:18
20F:→ tctv2002 : 可以租GB200 幹嘛還要租H100? 10/17 10:18
21F:推 hn022 : 舊的沒人想要 10/17 10:18
22F:推 EvilJustice : 完了QQ 10/17 10:18
23F:推 spa41260 : 電子產品就是這樣,舊的很快被淘汰,新的又越賣越 10/17 10:19
24F:→ spa41260 : 便宜 10/17 10:19
25F:噓 stationary : overbooking 2.0 10/17 10:19
26F:推 SSglamr : 丸子 10/17 10:19
27F:→ piece1 : 沒人要剩下的..... 10/17 10:20
28F:推 AndyMAX : Overbooking!AI is over! 10/17 10:20
29F:推 strlen : 算力過剩XD好喔 10/17 10:21
30F:推 slothman : 網咖都沒這麼便宜 10/17 10:21
31F:→ ActionII : 為啥不租?巨頭自用租人兩相宜啊 10/17 10:22
32F:推 as920909 : 軍備競賽怕的不是賠錢吧 10/17 10:22
33F:推 Lhmstu : 舊了 10/17 10:23
34F:→ Lowpapa : 幹 這真的超級鬼故事 10/17 10:23
35F:推 spa41260 : 2022上演過一次了,顯卡庫存過剩 10/17 10:23
36F:推 baddaddy : 跟3c一樣,舊款跌價很快 10/17 10:24
37F:推 TameFoxx : H200都出了 H100當然降價 10/17 10:24
38F:推 pponywong : 說個笑話 最早的電腦ENIAC 造價數百萬美元 10/17 10:24
39F:→ pponywong : 現在買PC 台幣3萬 PC市場要崩了 10/17 10:24
40F:→ TameFoxx : 而且這種租法不會讓你一次只租幾小時 10/17 10:24
41F:→ TameFoxx : 新品出來買一百萬 出租可能2年就會本 10/17 10:25
42F:推 y800122155 : 這叫算力通膨 NV每年2倍2倍的提高新產品算力 你舊產 10/17 10:26
43F:→ y800122155 : 品當然只會一直崩 但如果不想被超車 每年都要買GPU 10/17 10:26
45F:→ tomdavis : GB200都要出來了 H100運算效率被屌打 10/17 10:29
46F:推 josephpu : 老黃越出越強,有的選誰要租h100... 10/17 10:29
47F:→ y800122155 : NV目標是十年提升一百萬倍算力 等於舊產品用兩年就 10/17 10:30
48F:→ y800122155 : 會變成佔空間的垃圾 10/17 10:30
49F:推 jc761128 : 不便宜 怎麼普及? 10/17 10:31
50F:→ jacknavarra : 如果產品兩年後變成垃圾, 那用租的比較划算吧?! 10/17 10:32
51F:推 Lhmstu : 但是其實很多小型的AI應用很需要這種相對便宜且夠 10/17 10:32
52F:→ Lhmstu : 用的算力 10/17 10:32
53F:→ jc761128 : 手機一隻百萬 誰能接你電話XD 10/17 10:32
54F:推 breathair : 這…這不就是NV不敗的原理嗎?算力一 10/17 10:32
55F:→ breathair : 直提升,算力成本一直下降。拿債券比喻 10/17 10:32
56F:→ breathair : 舊債券發5%利息,新債券發10%,舊債 10/17 10:32
57F:→ breathair : 券淨值不是就貶到爛了,還有電費的問題 10/17 10:32
58F:→ breathair : 簡直沒人要了 10/17 10:32
59F:→ Aerogel : 詐團應該會低價掃貨吧! 10/17 10:33
60F:推 gamixxxx : Overbooking 10/17 10:34
61F:推 h0103661 : 對高端是垃圾,不代表其他人不用啊,降價就是為了 10/17 10:34
62F:→ h0103661 : 吸引低價市場。 10/17 10:34
63F:推 julian42 : gb2000明明還沒出 你有看到iphone16還沒出15先降嗎 10/17 10:38
64F:推 breathair : 不管用租的,還是買的,量大便宜,最新 10/17 10:39
65F:推 Lowpapa : 真的一堆人在壯膽 10/17 10:39
66F:→ breathair : 的最便宜,所以舊的,貴的,一定重貶 10/17 10:39
67F:→ breathair : 新的,便宜的,一定搶破頭,道理就是這 10/17 10:39
68F:→ breathair : 麼個道理 10/17 10:39
69F:推 Heedictator : 顯卡不就這樣 10/17 10:40
70F:推 junior020486: 還沒出本來就會降,16要出之前,通訊行都降爛了 10/17 10:40
71F:推 spa41260 : nv沒有不敗,之前就是這樣差點完蛋,幸好有好幾次 10/17 10:40
72F:→ spa41260 : 運氣好被救活 10/17 10:40
73F:推 y800122155 : 我指的垃圾是以 算力/單位價格 來看,不管高低端需 10/17 10:40
74F:→ y800122155 : 求,越新的產品CP值也是每年2倍2倍在提高,就算低端 10/17 10:40
75F:→ y800122155 : 需求,誰不想用CP值高的? 這就老黃說的買越多省越 10/17 10:40
76F:→ y800122155 : 多,你一直用舊產品,就是越用越盤罷了 10/17 10:40
77F:推 haworz : 幹你媽的顯卡要降價這句話從疫情前就一直講到現在 10/17 10:41
78F:→ haworz : 老黃還是加價賣啊 10/17 10:41
79F:推 shorty5566 : 前幾個禮拜才在喊崩 現在漲上來又喊崩 被打臉不膩嗎 10/17 10:41
80F:→ breathair : 你把算力換算成賺錢的能力,或是技術力 10/17 10:42
81F:→ breathair : 越新的越強,單位成本越便宜,你有什麼 10/17 10:42
82F:→ breathair : 道理要用舊的?舊的崩越快,代表新的 10/17 10:42
83F:→ breathair : 越強,這千萬不能解讀錯了 10/17 10:42
84F:→ haworz : 以前是先買先享受,後買享折扣,現在是越晚買越貴 10/17 10:42
85F:→ haworz : 。 10/17 10:42
86F:推 spa41260 : 之前一段時間靠比特幣挖礦苟延殘喘,2022庫存過剩 10/17 10:43
87F:→ spa41260 : 時也快完蛋,幸好後來有ChapGpt把它救活 10/17 10:43
88F:→ GN02209611 : 看晚上華西街殺不殺才能知道他們對AI的新態度 10/17 10:43
89F:→ jacknavarra : 以租賃取代購買會不會更划算??? 10/17 10:44
90F:噓 maplefff : 大哥現在都H200, 要換代B200了 10/17 10:44
91F:→ maplefff : 你這樣跟用iPhone 13價格說iPhone 16 10/17 10:44
92F:→ maplefff : 滯銷有什麼不一樣 10/17 10:44
93F:→ shorty5566 : 只要算力有需求NV就不可能完蛋 10/17 10:45
94F:→ shorty5566 : NV酸很急 大概因為沒買到NV 10/17 10:45
95F:推 OhtaniHR : over booking2.0 10/17 10:46
96F:噓 inoce : 緯創崩 10/17 10:47
97F:推 clecer : 一堆需求只需要推論而已,LLM才需要用最新最強大晶 10/17 10:47
98F:→ clecer : 片做訓練,看來GPU崩盤時間快了 10/17 10:47
99F:噓 Blastodern : 是不是想騙散戶賺錢的地方? 10/17 10:47
100F:推 Brioni : Overbooking 最快也要明年下半年,還有得炒 10/17 10:48
101F:推 y800122155 : 推論也是看CP值啊,最新產品不管訓練推論都是CP值最 10/17 10:50
102F:→ y800122155 : 高的,除非你舊產品可以每年跌超過1/2 10/17 10:50
103F:→ shorty5566 : 沒錯 要崩了 你是股神 10/17 10:51
104F:→ xeins : 訊號來了 in 10/17 10:51
105F:推 happylinadog: 新的出了誰要租舊的 10/17 10:53
106F:→ LDPC : =_=.....算力永遠不嫌多啊 都講了n次了 10/17 10:54
107F:推 HisVol : 終端需求不夠,沒商機,算力不就過剩了,難道賺不到 10/17 10:56
108F:→ HisVol : 錢也要為了算而算? 10/17 10:56
109F:噓 GivemeApen : 廢話 有新的誰要用舊的 87新聞 10/17 10:56
110F:推 CADDEE : 真假 算力過剩了嗎 10/17 10:57
111F:→ LDPC : 終端需求也有企業需求 去看資料中心那些資料就知道 10/17 10:58
112F:→ LDPC : 你這論點就跟回到1990說記憶體10M就夠用 cpu也是 10/17 10:58
113F:→ mntonmylife : 每小時8美元也太貴,租車都比較便宜 10/17 10:58
114F:→ LDPC : 亞麻現在所有消費資料都已經用genAI+RAG去做了 10/17 10:59
115F:推 breathair : 算力過剩了啊,iPhone 9沒人要了,垃圾 10/17 10:59
116F:→ LDPC : 你們消費者 大概也不知道後面搜尋機制已經變了 10/17 10:59
117F:→ lmc66 : 別怕 至少我們還有夢 10/17 10:59
118F:推 sussj : 完了,要泡沫了,快逃啊 10/17 11:00
119F:→ LDPC : 狗家現在所有下游服務客戶全部都換成gemini 10/17 11:00
120F:→ LDPC : 你大概也不知道你用的服務已經用更高階genAI 10/17 11:00
121F:推 andy76222 : 就像新一代手機出來,上一代降價不是很正常?這樣 10/17 11:01
122F:→ andy76222 : 就泡沫? 10/17 11:01
123F:推 sdbb : 99GOOG 10/17 11:01
124F:推 gk1329 : 你我500 10/17 11:03
125F:→ thg156yu789 : 很正常吧 不就跟網速一樣 價格越來越便宜 10/17 11:04
126F:推 Melomomo : AI又要over了… 10/17 11:04
127F:推 imba789 : 買舊產品的變成冤大頭 10/17 11:05
128F:→ jacknavarra : 可以用租的 就不會變冤大頭了 10/17 11:06
129F:推 xx890197 : 真正的供不應求應該是跟2017年挖礦市場一樣,連二 10/17 11:07
130F:→ xx890197 : 手顯卡都在加價賣,現在去年算力貶值成這樣,還這 10/17 11:07
131F:→ xx890197 : 麼供不應求嗎? 10/17 11:07
132F:推 DevenW : AI的問題是,當一個夠好用的AI被訓練出來,還需要 10/17 11:08
133F:→ DevenW : 一堆人提供服務嗎 10/17 11:08
134F:推 Samurai : AI正在極速發展,搞不清楚狀況的人還很多,現在萬 10/17 11:10
135F:→ Samurai : 事具備只等LLM成熟,終端消費市場就會爆發 10/17 11:10
136F:推 amorose77 : 然後七巨頭還是拼命買 10/17 11:14
137F:推 iWatch2 : 這家還真多割韭騙票新聞 推個 10/17 11:16
138F:推 y800122155 : 現在沒有瘋搶H100 那是因為GG CoWoS先替你瘋狂增產 10/17 11:27
139F:→ y800122155 : 了啊 10/17 11:27
140F:推 ten9di9 : 都用買的,誰要租 10/17 11:31
141F:噓 s1612316 : 沒有終端消費需求 舊的直接變垃圾 泡泡真的要來了 10/17 11:34
142F:→ s1612316 : 手機有人會用舊的 AI競賽有人用舊的?XD 10/17 11:35
143F:→ amaqua : 晶片版的蒜粒過剩... 10/17 11:44
144F:→ Zexion : 騙票 10/17 11:45
145F:→ LightWorker : AI 要泡沫化了 10/17 11:57
146F:推 chysh : 反正H100終究停產,現在只是在壓榨殘值,而且因為對 10/17 12:01
147F:→ chysh : 中國的晶片禁令,中國沒門路拿到晶片的廠就只能租算 10/17 12:01
148F:→ chysh : 力 10/17 12:01
149F:推 notime : 丸子 10/17 12:05
150F:推 Latte7 : 還蠻好笑的推論 10/17 12:07
151F:推 Litfal : 2鎂小時好像不貴欸,用一張25k鎂來算可以跑520天還 10/17 12:21
152F:→ Litfal : 不用電費欸 10/17 12:21
153F:推 mc2834 : 是機房效率的問題好嗎?跟算力過剩無關… 10/17 12:23
154F:推 shinnim : 87新iPhone 出來舊的不會降價嗎== 10/17 12:32
155F:推 aaaaaaaa9 : iPhone 4價值崩盤,原本3萬多台幣,如今1000元都沒 10/17 12:37
156F:→ aaaaaaaa9 : 人買,蘋果信仰不再? 10/17 12:37
157F:推 brad001 : 想騙我股票 門都沒有 10/17 12:48
158F:推 prtscscroll : 每季都能炒一次的話題 等你砍掉股票後 AI投資無法變 10/17 12:54
159F:→ prtscscroll : 現又不是問題了 10/17 12:54
160F:推 stlinman : 早些用H100的早就回本了吧! 以後賣掉還有殘值,賺爛 10/17 12:56
161F:→ stlinman : 了吧! 難怪老黃敢說買越多省越多。 10/17 12:56
162F:推 oxlittle : 大公司不會把資料拿去雲端算吧 10/17 13:06
163F:推 steven1220 : 難怪弘毅股跌的跟屎一樣 10/17 13:12
164F:推 alphish : 鬼故事一職來 到底法說之後會噴到哪裡去~期待 10/17 13:23
165F:推 breathair : 噗,法説結束,這串就閉嘴了 10/17 14:49
166F:推 shawncarter : 吃貨文啦 10/17 14:49
167F:推 aresa : 去年8元一小時,241天就回本了,你跟我說賠錢 10/17 15:17
168F:推 linfon00 : 每個禮拜崩一次 10/17 16:42