※ 引述《thinksilver (银白色的沉思)》之铭言： : 原文标题： : AI算力成本腰斩！AMD MI355X跑GLM 5.2 成本仅辉达一半 : 原文连结： : https://reurl.cc/3yrRj0 : 发布时间： : 2026-07-07 04:44 : 记者署名： : 钜亨网新闻中心 : 原文内容： : 随着 AI 推理需求爆炸性增长，算力成本成为企业落地的最大痛点。近期，推理优化公司 : Wafer 公布的一组数据引发了 AI 业界的高度关注：在AMD(AMD-US)MI355X : 晶片上运行最新开源模型 GLM 5.2，不仅实现了高效能表现，其成本更仅为辉达 : (NVDA-US) 旗舰 GPU B200 的一半。 : 这项结果显示，AMD 正逐步缩小与辉达在 AI 推理市场的差距，也让外界重 : 新审视 GPU 市场长期由 CUDA 生态建立的竞争优势。 : 测试显示，MI355X 在执行 GLM 5.2 时，单节点聚合吞吐量达每秒 2,626 个 token（ : tok/s），单流吞吐量则达每秒 213 个 token。在效能方面，约可达到同级辉达旗舰 : B200 约八成水准，但部署成本却不到 B200 的一半。 : 消息公布後，立即引发开发者社群高度关注，相关讨论也迅速登上 Hacker News 热门排 : 行榜。 : Wafer 表示，这次部署并非依靠特殊硬体，而是透过一系列软体最佳化完成， : 包括模型量化、推理引擎选择，以及多项相容性修正与效能调校，让 AMD GPU 能充分发挥 : 推理能力。 : 量化技术兼顾效能与精准度 : 在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，将模型权重由 BF16 量化为 : MXFP4，以降低运算资源需求。 : 根据测试结果，量化後模型在多项基准测试中的准确率仅有轻微变化，部分测试甚至较官 : 方量化版本更佳，代表压缩模型後仍能维持相当程度的推理品质。 : 推理引擎方面，Wafer 比较了 vLLM、ATOM 与 sglang 三种方案後，最终选择 sglang。 : 原因在於前两者无法同时兼顾量化效益与长文本输出品质，而 sglang 则能维持模型输出 : 的稳定性，成为此次部署的主要推理平台。 : 修补细节 推理速度大幅提升 : 在完成模型量化後，Wafer 又针对推理流程持续优化。其中最大的挑战来自 ROCm 平台对 : 投机解码（Speculative Decoding）的支援不足。 : 团队发现，共享专家层命名方式与 sglang 使用的命名规则不同，导致模型载入失败，透 : 过修正命名後，单流吞吐量便大幅提升近三倍。 : 此外，另一项问题来自程式码直接引用 CUDA 标头档，导致 ROCm 编译失败，Wafer 仅透 : 过加入编译保护即可解决。之後再调整平行运算方式，以及手动指定适合 GLM 5.2 专家 : 层的 Kernel，最终将单节点聚合吞吐量提升至每秒 2,626 个 token。 : 测试采用接近实际生产环境的设定，包括 2 万 token 输入、1,000 token 输出及 60% : 快取命中率，首个 token 延迟控制在 2.22 秒内，整体成功率达 100%。 : 新创公司也能挑战 GPU 巨头 : 值得注意的是，完成这项成果的 Wafer 并非大型科技公司，而是一家仅获得 400 万美元 : 种子轮融资的新创企业，投资人包括 Fifty Years、Y Combinator、Liquid2，以及 : Google 首席科学家 Jeff Dean、OpenAI 共同创办人 Wojciech Zaremba 与 Dropbox 共 : 同创办人 Arash Ferdowsi 等知名人士。 : Wafer 将自身定位为利用 AI 优化 AI 基础设施的公司，并表示此次 GLM 5.2 的部分 : Kernel 调校、命名冲突排查与最佳化工作，都已大量导入 AI 辅助工程。 : 相较过去为了提升效能仍需自行开发客制化 Kernel，如今更多工作已转向修补官方工具 : 链中的细节，代表 AMD 软体生态正逐渐成熟。 : AMD 软体生态逐渐成熟 : Wafer 指出，过去若每次模型发布都必须重新开发底层 Kernel，小型团队几乎无法跟上 : 市场节奏；如今官方工具链已能完成大部分工作，剩余仅需修正相容性与最佳化细节，新 : 创公司便有机会快速完成部署，这也是 Wafer 能在模型发布後短时间内完成适配的重要 : 原因。 : Wafer 认为，目前顶尖模型能否顺利部署到 AMD 平台，愈来愈取决於官方软体支援速度 : ，而非硬体本身，CUDA 长期建立的软体优势正逐步受到挑战。 : 事实上，SemiAnalysis 今年稍早针对 GLM-5 的测试也得到类似结果。报告指出，在互动 : 式推理场景下，AMD MI355X 每百万 token 推理成本约为 0.22 美元，低於辉达 B200 的 : 0.30 美元，主要原因除了硬体整体拥有成本较低，也反映 AMD 软体最佳化已有明显进 : 展。 : 不过，目前 AMD 的优势仍主要集中於单节点部署。在多节点、大规模分散式丛集以及跨 : 机专家并行等企业级应用方面，辉达仍保有明显领先优势。 : 若未来云端业者能持续将 Wafer 的最佳化方式复制到更多开源模型，AI 推理成本仍有望 : 持续下降，也将进一步提升开源模型在市场上的竞争力。 : 心得/评论： : 上次说花少少钱就能赢辉达的是不是deepseek? : 不过最近AMD的股价走势是蛮不错的~相较於NVDA来说~ : 如果能降低成本有助於AI普及化其实也不是坏事， : 果然NVDA的地位还是需要靠宿敌才能撼动? : 想到90年代~ATI(Radeon)与NVDA(GeForce)的大战 : 各位老显卡玩家怎麽看呢? 先说简单结论 任何吹MI3**的都可以忽略 苏妈MI3**系列关键问题很简单 networking一坨 阿不过也不能说苏妈的错 因为当初MI3**系列就只是给超级电脑用的 2023紧急被软软找去魔改出MI300X这种东西 这问题导致MI3**系列大概只有8颗一组的tray还算符合成本效益 要跑更大的模型就完惹 没未来性 所以大家兴趣缺缺 MI355X也只是把运算跟记忆体这部分加强而已 networking结构没办法动 真要抓苏妈吹牛波 扣掉cpu的话 就要看mi400系列怎样 现在回去谈mi3**都没意义惹 过两葛礼拜4会有一葛苏妈的ai产品吹牛大会喇 我自己的港绝捏 苏妈的新东西 大家都是边测边骂 底类底类再抵类 不过老黄逼系列也好不到哪去 後面应该更惨 反正老黄股价都涨不动惹 逼康也是 现在gpu/tpu这种就是找挑战者吹而已 然後mi4**放量恐怕也年底明年初的事惹 要去检视这吹牛到底484吹过头都hen久以後惹 吹gpu这部分就锦上添花而已 cpu缺货4倒是没解 反正过去这半年多能喷的股票 要马炒缺货要马吹牛 或兼而有之&各种变体 所以 尼董der --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 71.198.170.65 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1783403394.A.C63.html