作者pl132 (pl132)
看板Tech_Job
標題[新聞]投資輝達 AI 晶片 1 美元賺 7 美元，實現
時間Thu Jul 11 22:15:52 2024
投資輝達 AI 晶片 1 美元賺 7 美元，實現黃仁勳買越多省越多口號
https://tinyurl.com/22z4n5qm
GPU 大廠輝達（Nvidia）超大規模和 HPC 業務副總裁兼總經理 Ian Buck，日前公開活動
時表示，客戶投資數十億美元購買新輝達硬體，以跟上 AI 大模型需求，提高收入和生產
力。從投資效益說，硬體用在 AI 大語言模型訓練，投資 1 美元回收 5 美元，如果用在
大模型推理，投資 1 美元更回收 7 美元。
Buck 表示，建設大型資料中心企業特別受惠，四至五年使用壽命內獲豐厚回報。模型訓
練方面，雲端運算商購買 GPU 每花 1 美元，四年內提供算力能收回 5 美元，推理用更
有利可圖，每花 1 美元能有 7 美元回報，且這數字還會增長。
黃仁勳也說過類似的話，Buck 解釋原因。借助 CUDA 演算法創新，輝達將 H100 的 LLM
執行速度提升三倍，將 Llama 3 等模型成本降低三分之一。H200 推理性能較 H100 翻倍
，對生產有巨大價值。
Buck 舉例，700 億參數的 Llama 3 單台 HGX H200 伺服器每秒輸出 24,000 個 Token，
支援超過 2,400 名用戶，照定價看，託管 Llama 3 的供應商每花 1 美元買輝達 HGX
H200 伺服器，四年內從 Llama 3 token 計費賺到 7 美元。
Llama、Mistral 或 Gemma 等 AI 推理模型不斷發展，輝達將開放性 AI 模型導入
NVIDIA 推理微服務 (NIM) 架構，最佳化 Blackwell 架構 GPU 推理執行度。GPU 支援
FP4 和 FP6 類型數據，低強度 AI 負載能提高能效。
輝達資料顯示，與 Hopper 架構相較，Blackwell 架構訓練速度比 H100 快四倍，推斷速
度快 30 倍，能即時運行兆級參數大語言模型生成式 AI，降低成本和能耗 4%。這呼應黃
仁勳喊過多次的「買越多，省越多」口號，但不能忽視，輝達 GPU 價格也快速上漲。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.0.241 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Tech_Job/M.1720707355.A.26A.html
1F：推 ghchen1978 : 多買幾台大金吧 07/11 22:48
2F：→ f12sd2e2aa : 哪間公司真的靠AI賺錢了 07/11 23:26
3F：推 a29831287 : NV啊 07/12 00:51
4F：推 spath : AI淘金潮，結果還是賣工具的最賺錢 07/12 00:53
5F：→ much0112 : 有獲利的只有股票吧 07/12 01:39
6F：→ veru : 你們知道openAI 到今年為止 半年不到的營收是34億 07/12 06:56
7F：→ veru : 美金嗎？ 07/12 06:56
8F：推 fred7698 : 那OpenAI買啊，還是這一家就夠了XDD 07/12 08:33
9F：噓 quartics : OpenAI 今年才預估營收34億美,哪來做夢半年就34億 07/12 09:52
10F：→ quartics : 但賺再多也不夠燒, 大型LLM太燒錢 07/12 09:55
11F：推 bettyangel : 聽說中國留學生會在美台日歐印買晶片手機,可聽口音 07/12 11:08
12F：推 bettyangel : 以及證件 07/12 11:48
13F：噓 hegemon : 預估這波可能會跟淘金熱很像，只有賣工具的發財 07/12 12:21
14F：推 clecer : MS copilot 360也沒賺多少 07/12 14:39
15F：推 bettyangel : 聽說→感覺 07/12 17:58
16F：推 motan : 金鏟子 07/12 20:35
17F：推 andy810306 : 其實啊你買2兆的貨半價出售營收就有1兆了 07/13 00:09
18F：→ andy810306 : AI營收就是這麼回事，openAI可能不只半價就是 07/13 00:10
19F：噓 pig2014 : 感覺已經變成老鼠會了 07/13 14:35