作者fenzang (fenzang)
看板Stock
标题Re: [请益] 算力需求到底是缺还是快饱和了？
时间Fri Jul 3 20:34:40 2026
看了一下W大跟L大的回文 我也来分享一下关於这鬼故事的想法
我引用了L大的文章，然後会砍掉部分 因为太长了 如果LDPC大认为不妥我再修正
小弟我从出道以来就是做纯inference的，从来没干过training，所以单就我自己的经验
分享一下我认为现在的瓶颈 还有一些故事(?) 给大家自己决定怎麽解释
※ 引述《LDPC (Channel Coding)》之铭言：
: inference 并不代表 NVIDIA
: 就会失去优势，
: 我反而认为它目前仍然是
: 最大的受益者，
: 至少短中期如此。
: 原因有几个：
: 第一，
: CUDA 生态系的护城河，
: 比很多人想像的大得多。
: 现在几乎所有主流
: inference optimization，
: 都是先支援 CUDA。
: 例如：
: 尤其 vLLM，
: 是目前 LLM inference
: 最主流的 serving framework。
: SGLang 近一年成长也非常快，
: GitHub 也已经累积
: 万级以上 Stars。
: 两者最成熟、
: 效能最好的 backend，
: 都仍然是 NVIDIA GPU。
其实你讲的反而是NV容易被取代的点
SGLang/vLLM并不是绑定NV的 而且其实真正有资源的team都不是用纯版的
像是vLLM原本在MSL出现前也是Meta主力，但TBD最一开始也不用
(TBD一开始还有很多有趣的事情 像是不用torch之类的lol)
SGL现在Lianmin去了TBD 我听到的八卦是Lianmin当初拿了offer之後说还是想
把SGLang给搞好，那Jeff就说可以先去然後讨论他去TBD之後要做什麽
後来兔哥看到了SGLang的一些作法认为很值得借鉴 所以就开始投入SGL了
但也是有用着SGLang但是把router给扔了去用NV的Dynamo或是各种花式frankenstein
我不认为现在NV的优势是在Serving framework上。
OpenAI的serving也是有自己的serving engine，其实每家code我听到的都是屎山
因为大家现在就是要榨出inference的最後一滴汁，能不能同时用NV/AMD/INTC/TPU根本
不重要，所有的code都是特化的，CUDA的生态系其实在oAI/Ant/TBD有资源的公司前没想
像中那麽强，现在我知道有team甚至是直接PTX开始写的lol
: 第二，
: 大规模 Data Center
: 的系统能力，
: 目前 NVIDIA
: 仍然领先。
: 单张 GPU
: 已经不是重点。
: 真正困难的是：
: 几百到几千张 GPU 的互连
这是真的，而且这还不只是NV硬体本身，还有CSP也是很大的一个价值
小八卦是某家frontier lab跟某两个neocloud租了cluster，结果发现一模一样的code
在某家neocloud作RL的时候会crash 另一边竟然不会，後来发现会crash的那边是
numerical不determinism所以在climbing的时候不够稳定就train不上去了。
一样的硬体 一样的driver 一样的code，但却有numerical difference 很有趣的:)
至於说Meta算力过剩这件事情，我倒觉得不太可能，问题应该是说，Meta放出这消息的
目的是什麽？
各位不知道还记不记得，阿祖在前几次的财报会议有人问过，不担心over invest吗？
阿祖的回答很直接，如果说後来发现LLM搞不起来 他大可把算力拿给其他team，来让本
业的广告投放更精准。这件事情所言不假，我们当初Ads/MRS根本拿不到NV的卡，更恐怖
的事是卡还缺到有team被从原本有卡踢到要他们只能用CPU...
所以你说Meta算力过剩？微软AMZN或是甲骨文之类的说还有可能。Meta绝对是巨头里面最
直接可以把算力转换成钞票的公司，NV微软AMZN还要看有没有客户要用，对Meta来说算力
就是印钞机，端看他要怎麽用而已
我还记得在Meta这新闻出来的时候，我在跟之前team上另一个老中聊天，他只说了：
这真他妈的离谱 我KFS等了一个礼拜才排到队，你跟我说有多的算力？
除非说阿祖觉得这些卡跟马斯克一样租出去比较赚，不然Meta这种Ads起家的公司，说算
力过剩这种话，绝对是不安好心的lol
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.240.139.200 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1783082082.A.9B4.html
1F：推 cp17 : 有趣 越来越多这种优文很不错 07/03 20:43
2F：推 Jaspercool : 好文 推推 07/03 20:44
3F：推 sdbb : 谢谢 07/03 20:46
4F：推 thetide0512 : 可以了解下 前两天NV公布的算力分成模式 07/03 20:48
5F：→ bnn : 阿祖:但是Ant给的真的太多了(X 07/03 20:59
6F：推 CaptPlanet : 高层真的是脑子有洞 头突然撞到就会 转向 07/03 21:02
7F：推 ksjr : 这是一个关於元蒜粒的故事 07/03 21:04
8F：推 pent : 财报狗也解析，差不多一样地看法。本来meta就有考量 07/03 21:12
9F：→ pent : 出租算力也是一个业务 07/03 21:12
10F：推 budda : 看那个脸书如今只变成广告温床，就知道meta只想赚 07/03 21:24
11F：→ budda : 钱，只要能赚，什麽话都敢说 07/03 21:24
12F：推 coware : 推 不安好心 是说他什麽时候好心过了 07/03 22:19
13F：→ KY1998 : 出租算力很赚吧，一堆矿商都转型neocloud 07/03 22:20
14F：→ KY1998 : 只是前期资本开支多才会让人有无底洞的感觉 07/03 22:21
15F：推 CorkiN : 推第一线人员优文 07/04 00:08
16F：推 strlen : 不知道你是否注意到 阿祖那边本身根本从没说过算力 07/04 00:34
17F：→ strlen : 过剩相关的事 就连出租的事也是年初稍微提过 07/04 00:34
18F：→ strlen : 所有的故事都是来自媒体的知情人士 懂得就懂 07/04 00:35
19F：→ strlen : 然後媒体又莫明奇妙的可以拿到阿祖内部谈话内容 07/04 00:35
20F：→ strlen : 一切都是在这几天 而不是上周 上上周 或上个月 07/04 00:35
21F：→ strlen : 就这麽巧本周大跌 又这麽巧一堆新闻 就是这麽巧 07/04 00:36
22F：推 winken2004 : 推 07/04 02:45
23F：推 saikogg : 好人一生推 07/04 02:50
24F：推 FULLHD1080 : 专业好文 07/04 08:02
26F：推 EarlyInMay : 广告投放更精准就等於meta更赚钱吗 可是meta在ai时 07/04 18:26
27F：→ EarlyInMay : 代不断推出浪费客户费用、不精准的废功能 广告不够 07/04 18:26
28F：→ EarlyInMay : 有用 品牌才会追加预算 不能比Google广告没效 但不 07/04 18:26
29F：→ EarlyInMay : 能太有效 07/04 18:26