作者fenzang (fenzang)
看板Stock
標題Re: [請益] 算力需求到底是缺還是快飽和了？
時間Fri Jul 3 20:34:40 2026
看了一下W大跟L大的回文 我也來分享一下關於這鬼故事的想法
我引用了L大的文章，然後會砍掉部分 因為太長了 如果LDPC大認為不妥我再修正
小弟我從出道以來就是做純inference的，從來沒幹過training，所以單就我自己的經驗
分享一下我認為現在的瓶頸 還有一些故事(?) 給大家自己決定怎麼解釋
※ 引述《LDPC (Channel Coding)》之銘言：
: inference 並不代表 NVIDIA
: 就會失去優勢，
: 我反而認為它目前仍然是
: 最大的受益者，
: 至少短中期如此。
: 原因有幾個：
: 第一，
: CUDA 生態系的護城河，
: 比很多人想像的大得多。
: 現在幾乎所有主流
: inference optimization，
: 都是先支援 CUDA。
: 例如：
: 尤其 vLLM，
: 是目前 LLM inference
: 最主流的 serving framework。
: SGLang 近一年成長也非常快，
: GitHub 也已經累積
: 萬級以上 Stars。
: 兩者最成熟、
: 效能最好的 backend，
: 都仍然是 NVIDIA GPU。
其實你講的反而是NV容易被取代的點
SGLang/vLLM並不是綁定NV的 而且其實真正有資源的team都不是用純版的
像是vLLM原本在MSL出現前也是Meta主力，但TBD最一開始也不用
(TBD一開始還有很多有趣的事情 像是不用torch之類的lol)
SGL現在Lianmin去了TBD 我聽到的八卦是Lianmin當初拿了offer之後說還是想
把SGLang給搞好，那Jeff就說可以先去然後討論他去TBD之後要做什麼
後來兔哥看到了SGLang的一些作法認為很值得借鑒 所以就開始投入SGL了
但也是有用著SGLang但是把router給扔了去用NV的Dynamo或是各種花式frankenstein
我不認為現在NV的優勢是在Serving framework上。
OpenAI的serving也是有自己的serving engine，其實每家code我聽到的都是屎山
因為大家現在就是要榨出inference的最後一滴汁，能不能同時用NV/AMD/INTC/TPU根本
不重要，所有的code都是特化的，CUDA的生態系其實在oAI/Ant/TBD有資源的公司前沒想
像中那麼強，現在我知道有team甚至是直接PTX開始寫的lol
: 第二，
: 大規模 Data Center
: 的系統能力，
: 目前 NVIDIA
: 仍然領先。
: 單張 GPU
: 已經不是重點。
: 真正困難的是：
: 幾百到幾千張 GPU 的互連
這是真的，而且這還不只是NV硬體本身，還有CSP也是很大的一個價值
小八卦是某家frontier lab跟某兩個neocloud租了cluster，結果發現一模一樣的code
在某家neocloud作RL的時候會crash 另一邊竟然不會，後來發現會crash的那邊是
numerical不determinism所以在climbing的時候不夠穩定就train不上去了。
一樣的硬體 一樣的driver 一樣的code，但卻有numerical difference 很有趣的:)
至於說Meta算力過剩這件事情，我倒覺得不太可能，問題應該是說，Meta放出這消息的
目的是什麼？
各位不知道還記不記得，阿祖在前幾次的財報會議有人問過，不擔心over invest嗎？
阿祖的回答很直接，如果說後來發現LLM搞不起來 他大可把算力拿給其他team，來讓本
業的廣告投放更精準。這件事情所言不假，我們當初Ads/MRS根本拿不到NV的卡，更恐怖
的事是卡還缺到有team被從原本有卡踢到要他們只能用CPU...
所以你說Meta算力過剩？微軟AMZN或是甲骨文之類的說還有可能。Meta絕對是巨頭裡面最
直接可以把算力轉換成鈔票的公司，NV微軟AMZN還要看有沒有客戶要用，對Meta來說算力
就是印鈔機，端看他要怎麼用而已
我還記得在Meta這新聞出來的時候，我在跟之前team上另一個老中聊天，他只說了：
這真他媽的離譜 我KFS等了一個禮拜才排到隊，你跟我說有多的算力？
除非說阿祖覺得這些卡跟馬斯克一樣租出去比較賺，不然Meta這種Ads起家的公司，說算
力過剩這種話，絕對是不安好心的lol
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.240.139.200 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1783082082.A.9B4.html
1F：推 cp17 : 有趣 越來越多這種優文很不錯 07/03 20:43
2F：推 Jaspercool : 好文 推推 07/03 20:44
3F：推 sdbb : 謝謝 07/03 20:46
4F：推 thetide0512 : 可以了解下 前兩天NV公布的算力分成模式 07/03 20:48
5F：→ bnn : 阿祖:但是Ant給的真的太多了(X 07/03 20:59
6F：推 CaptPlanet : 高層真的是腦子有洞 頭突然撞到就會 轉向 07/03 21:02
7F：推 ksjr : 這是一個關於元蒜粒的故事 07/03 21:04
8F：推 pent : 財報狗也解析，差不多一樣地看法。本來meta就有考量 07/03 21:12
9F：→ pent : 出租算力也是一個業務 07/03 21:12
10F：推 budda : 看那個臉書如今只變成廣告溫床，就知道meta只想賺 07/03 21:24
11F：→ budda : 錢，只要能賺，什麼話都敢說 07/03 21:24
12F：推 coware : 推 不安好心 是說他什麼時候好心過了 07/03 22:19
13F：→ KY1998 : 出租算力很賺吧，一堆礦商都轉型neocloud 07/03 22:20
14F：→ KY1998 : 只是前期資本開支多才會讓人有無底洞的感覺 07/03 22:21
15F：推 CorkiN : 推第一線人員優文 07/04 00:08
16F：推 strlen : 不知道你是否注意到 阿祖那邊本身根本從沒說過算力 07/04 00:34
17F：→ strlen : 過剩相關的事 就連出租的事也是年初稍微提過 07/04 00:34
18F：→ strlen : 所有的故事都是來自媒體的知情人士 懂得就懂 07/04 00:35
19F：→ strlen : 然後媒體又莫明奇妙的可以拿到阿祖內部談話內容 07/04 00:35
20F：→ strlen : 一切都是在這幾天 而不是上週 上上週 或上個月 07/04 00:35
21F：→ strlen : 就這麼巧本週大跌 又這麼巧一堆新聞 就是這麼巧 07/04 00:36
22F：推 winken2004 : 推 07/04 02:45
23F：推 saikogg : 好人一生推 07/04 02:50
24F：推 FULLHD1080 : 專業好文 07/04 08:02
26F：推 EarlyInMay : 廣告投放更精準就等於meta更賺錢嗎 可是meta在ai時 07/04 18:26
27F：→ EarlyInMay : 代不斷推出浪費客戶費用、不精準的廢功能 廣告不夠 07/04 18:26
28F：→ EarlyInMay : 有用 品牌才會追加預算 不能比Google廣告沒效 但不 07/04 18:26
29F：→ EarlyInMay : 能太有效 07/04 18:26