QQ先 disclaimer 一下。 刚刚把自己写的废文丢给 GPT 校稿，以下是校稿後的版本。 这篇讲得蛮好的。 针对inference写点补充 inference 并不代表 NVIDIA 就会失去优势， 我反而认为它目前仍然是 最大的受益者， 至少短中期如此。 原因有几个： 第一， CUDA 生态系的护城河， 比很多人想像的大得多。 现在几乎所有主流 inference optimization， 都是先支援 CUDA。 例如： vLLM SGLang TensorRT-LLM FlashAttention DeepEP NCCL CUTLASS 这些几乎都是围绕 CUDA 生态发展。 尤其 vLLM， 目前 GitHub 已经超过 6 万颗 Stars， 是目前 LLM inference 最主流的 serving framework。 SGLang 近一年成长也非常快， GitHub 也已经累积 万级以上 Stars。 两者最成熟、 效能最好的 backend， 都仍然是 NVIDIA GPU。 AMD ROCm、 Google TPU、 Intel Gaudi 并不是不能跑， 而是整个开源社群、 最佳化工具、 除错经验、 以及第三方套件， 都还远远比不上 CUDA。 真正做 production inference 的团队， 会知道 migration 的成本， 其实非常高。 现在所有垂直AI 应用层 都是用上面框架去优化老黄GPU搭配自家模型 第二， 大规模 Data Center 的系统能力， 目前 NVIDIA 仍然领先。 单张 GPU 已经不是重点。 真正困难的是： 几百到几千张 GPU 的互连 NVLink / NVSwitch Collective Communication（NCCL） 机柜散热 Power Delivery Burn-in、Pressure Test 长时间稳定运行 这些不是只卖晶片， 而是整个 AI Factory。 目前真正能把 数千张 GPU 做到高利用率、 稳定运作， 并提供完整 软硬体解决方案的， NVIDIA 仍然是最成熟的玩家。 所以我比较同意的是： Training 的黄金年代 可能正在结束， 但 Inference 的黄金年代， 才刚开始。 只是 NVIDIA 的优势， 已经不是只有 CUDA， 而是整个 software + networking + systems + datacenter integration 的完整生态。 至於记忆体， 我也认同需求 还会继续增加。 只是如果未来 Frontier Lab 不再用「军备竞赛」的方式 疯狂抢产能， 而是由拥有大量 RPO （Remaining Performance Obligations） 的 CSP（Cloud Service Provider） 依照实际需求采购， 那麽 HBM 的供需 仍然会很强， 但过去那种因为恐慌 而产生的溢价， 确实有可能 逐渐收敛。 反而像台积电， 我认为受影响 相对较小。 不管是 pre-training、 post-training， 还是 inference， 大部分高阶 AI Accelerator 最终还是要依赖 先进制程。 AI 算力需求 即使从 training 转向 inference， 本质上仍然离不开 台积电。 因此如果市场 因情绪一起修正， 台积电反而可能是 受错杀程度 较高的一方。 ※ 引述《breathair (拆了？简单了)》之铭言： : ※ 引述《soga0806 (巴欧萨给路嘎)》之铭言： : : 如题 : : 七巨头不是狂支出砸基建吗 : : 怎麽不到一个月 : : Meta跳出来说算力过剩 : : 还可以租给别人了 : : 真的假的啊？ : : 铲子股天花板快到极限了吗 : : ---- : : Sent from BePTT on my iPhone 11 : 我觉得对一半 : 1. Meta 不是CSP，但他AI采购了CSP规模的资本开支 : 原因无他，想要自己训练模型 : 把关键（智力）握在自己手上 : 2.AI的训练算力需求见顶，过剩下滑 : 越来越多人将发现 : 模型不是堆算力就好 : 你不会训练模型，再多算力就是搞不起来 : 训练市场将迎来史诗级崩盘 : CapEx 将缩小至只有CSP业者为了满足RPO才会疯狂每年大幅成长 : 奇怪xAI不是演过一轮了，怎麽这次Meta动静这麽大？ : 3. 训练市场退烧，推理市场刚刚开始 : 生死级别的军备竞赛结束了 : 你7巨头谁也别担心被那家颠覆 : 顶级AI模型目前掌握在OA两家 : 需要牛奶，买牛奶（token)就好 : 不需要买一头牛 : 以此推演 : NVDA受伤最重 : CUDA的优势在训练。一转移到推理市场，那可是百家争鸣 : 记忆体次之 : 推理同样强需求的记忆体 : 问题在此次竞价式的涨价模式 : 需要溢价抢产能的玩家退到手握RPO的CSP，谁需求多，谁需求少都容易掐指一算 : 只要不是军备竞赛式的抢 : 这部分的溢价会被影响到 : 而这部分的溢价可能已经被反应了 : 要回吐了 : 台积电机会不影响 : 训练到推理。离不开台积电 : 应该属於错杀成分最大 : 有子弹的我觉得是好时机 : ----- : Sent from JPTT on my iPhone --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 98.37.67.135 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1783036797.A.4D1.html ※ 编辑: LDPC (98.37.67.135 美国), 07/03/2026 08:02:34 prompt没下好 说要照批踢踢格式排版.... 是谁污染了gpt QQ ※ 编辑: LDPC (98.37.67.135 美国), 07/03/2026 08:25:46 We train and run Claude on a range of AI hardware— AWS Trainium, Google TPUs, and NVIDIA GPUs. 上面是人类学的官方啊 人类学也有用到Nvidia GPU 再加上垂直AI全部都用老黄啊 医疗法律会计电影 狗家云端利润狂上涨就是 这些垂直AI跟他租Nvidia GPU/Corewave财报也是狂上涨啊 我每天都在跟vllm打架啊 OpenAI 在今年的基础设施规划中提到，将新增 3GW 专用 inference capacity， 建立在 NVIDIA Vera Rubin 比方说Harvey 这家AI就是搞律师AI 造成美国初阶律师大量失业 https://reurl.cc/X2OQ1D 他就是用Nvidia 去盖Agent环境 ※ 编辑: LDPC (98.37.67.135 美国), 07/03/2026 08:59:06 @@买啊 inference时代 会有很多玩家 AMD好处就是现在市值低 每吃个老黄5%市场 就能暴涨 我算力小队现在只买苏妈 老黄就是190以下买 i皇不买 ※ 编辑: LDPC (98.37.67.135 美国), 07/03/2026 09:06:25 以及针对人类学 有人推算过他们大概在inferece 还有30%左右是来自NVidia openai这边叙述也不太对啊 https://extrapolator.ai/2025/10/12/openais-trillion-token-titans/ openai to-B也是有很多营收来自vertical AI 这些 尤其是Trillion token 俱乐部 在2026年初 OpenAI有说过自己Entrprise已经占总营收40% 现在ToC 利润太低 现在已经是 赚一个用户20美金一个月 不如赚一个医生/律师1000美金一个月使用费 https://reurl.cc/R2K879 现在所有AI都是瞄准To-B 哪来的没盈利 目前openai 比人类学占优势就是GPU数量和Infra这部分资源 openai下个bet就是医疗 目前openai arr是33B anthropic arr是47B 大体原因就是openai to-C利润低 而openai 目前靠者codex和voice agent enterprise (GPT-Realtime-2企业版) 目前语音Agent上 openai做得比Anthropic好 (人类学没有语音VoiceAgent企业solution) 开始有在to-B有机会挽回一波 infra之优化会反映体验在这 https://zhuanlan.zhihu.com/p/2038687070491825312 这也是为何自干infra优化 vs 生态圈优化infra (cuda阵营) 後者还是有一定吸引力 ※ 编辑: LDPC (98.37.67.135 美国), 07/03/2026 11:46:11 对 这边有细节在infernece增益多少tokens https://www.anthropic.com/news/higher-limits-spacex https://reurl.cc/bdZxdy ※ 编辑: LDPC (98.37.67.135 美国), 07/03/2026 12:05:48