原文标题： AI算力成本腰斩！AMD MI355X跑GLM 5.2 成本仅辉达一半 原文连结： https://reurl.cc/3yrRj0 发布时间： 2026-07-07 04:44 记者署名： 钜亨网新闻中心 原文内容： 随着 AI 推理需求爆炸性增长，算力成本成为企业落地的最大痛点。近期，推理优化公司 Wafer 公布的一组数据引发了 AI 业界的高度关注：在AMD(AMD-US)MI355X 晶片上运行最新开源模型 GLM 5.2，不仅实现了高效能表现，其成本更仅为辉达 (NVDA-US) 旗舰 GPU B200 的一半。 这项结果显示，AMD 正逐步缩小与辉达在 AI 推理市场的差距，也让外界重 新审视 GPU 市场长期由 CUDA 生态建立的竞争优势。 测试显示，MI355X 在执行 GLM 5.2 时，单节点聚合吞吐量达每秒 2,626 个 token（ tok/s），单流吞吐量则达每秒 213 个 token。在效能方面，约可达到同级辉达旗舰 B200 约八成水准，但部署成本却不到 B200 的一半。 消息公布後，立即引发开发者社群高度关注，相关讨论也迅速登上 Hacker News 热门排 行榜。 Wafer 表示，这次部署并非依靠特殊硬体，而是透过一系列软体最佳化完成， 包括模型量化、推理引擎选择，以及多项相容性修正与效能调校，让 AMD GPU 能充分发挥 推理能力。 量化技术兼顾效能与精准度 在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，将模型权重由 BF16 量化为 MXFP4，以降低运算资源需求。 根据测试结果，量化後模型在多项基准测试中的准确率仅有轻微变化，部分测试甚至较官 方量化版本更佳，代表压缩模型後仍能维持相当程度的推理品质。 推理引擎方面，Wafer 比较了 vLLM、ATOM 与 sglang 三种方案後，最终选择 sglang。 原因在於前两者无法同时兼顾量化效益与长文本输出品质，而 sglang 则能维持模型输出 的稳定性，成为此次部署的主要推理平台。 修补细节 推理速度大幅提升 在完成模型量化後，Wafer 又针对推理流程持续优化。其中最大的挑战来自 ROCm 平台对 投机解码（Speculative Decoding）的支援不足。 团队发现，共享专家层命名方式与 sglang 使用的命名规则不同，导致模型载入失败，透 过修正命名後，单流吞吐量便大幅提升近三倍。 此外，另一项问题来自程式码直接引用 CUDA 标头档，导致 ROCm 编译失败，Wafer 仅透 过加入编译保护即可解决。之後再调整平行运算方式，以及手动指定适合 GLM 5.2 专家 层的 Kernel，最终将单节点聚合吞吐量提升至每秒 2,626 个 token。 测试采用接近实际生产环境的设定，包括 2 万 token 输入、1,000 token 输出及 60% 快取命中率，首个 token 延迟控制在 2.22 秒内，整体成功率达 100%。 新创公司也能挑战 GPU 巨头 值得注意的是，完成这项成果的 Wafer 并非大型科技公司，而是一家仅获得 400 万美元 种子轮融资的新创企业，投资人包括 Fifty Years、Y Combinator、Liquid2，以及 Google 首席科学家 Jeff Dean、OpenAI 共同创办人 Wojciech Zaremba 与 Dropbox 共 同创办人 Arash Ferdowsi 等知名人士。 Wafer 将自身定位为利用 AI 优化 AI 基础设施的公司，并表示此次 GLM 5.2 的部分 Kernel 调校、命名冲突排查与最佳化工作，都已大量导入 AI 辅助工程。 相较过去为了提升效能仍需自行开发客制化 Kernel，如今更多工作已转向修补官方工具 链中的细节，代表 AMD 软体生态正逐渐成熟。 AMD 软体生态逐渐成熟 Wafer 指出，过去若每次模型发布都必须重新开发底层 Kernel，小型团队几乎无法跟上 市场节奏；如今官方工具链已能完成大部分工作，剩余仅需修正相容性与最佳化细节，新 创公司便有机会快速完成部署，这也是 Wafer 能在模型发布後短时间内完成适配的重要 原因。 Wafer 认为，目前顶尖模型能否顺利部署到 AMD 平台，愈来愈取决於官方软体支援速度 ，而非硬体本身，CUDA 长期建立的软体优势正逐步受到挑战。 事实上，SemiAnalysis 今年稍早针对 GLM-5 的测试也得到类似结果。报告指出，在互动 式推理场景下，AMD MI355X 每百万 token 推理成本约为 0.22 美元，低於辉达 B200 的 0.30 美元，主要原因除了硬体整体拥有成本较低，也反映 AMD 软体最佳化已有明显进 展。 不过，目前 AMD 的优势仍主要集中於单节点部署。在多节点、大规模分散式丛集以及跨 机专家并行等企业级应用方面，辉达仍保有明显领先优势。 若未来云端业者能持续将 Wafer 的最佳化方式复制到更多开源模型，AI 推理成本仍有望 持续下降，也将进一步提升开源模型在市场上的竞争力。 心得/评论： 上次说花少少钱就能赢辉达的是不是deepseek? 不过最近AMD的股价走势是蛮不错的~相较於NVDA来说~ 如果能降低成本有助於AI普及化其实也不是坏事， 果然NVDA的地位还是需要靠宿敌才能撼动? 想到90年代~ATI(Radeon)与NVDA(GeForce)的大战 各位老显卡玩家怎麽看呢? --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 163.17.149.199 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1783384228.A.19A.html