作者baddaddy (坏爸爸)
看板Stock
标题[情报] MI300X vs H100 vs H200测试&分析 - semi
时间Tue Dec 24 10:05:04 2024
标题：
MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive
网址：
https://reurl.cc/oVyd9v
内文：
此篇为semianalysis 测试5个月比较
MI300X H100 H200实际使用的效能以及使用上的现况
下面放上作者的发现总结，详细请看文章
1. 在纸上比较 FLOP/s 和 HBM 频宽/容量类似於仅透过检查百万像素数来比较相机。判断?
2. Nvidia 的开箱即用效能和体验令人惊叹，我们在基准测试期间没有遇到任何 Nvidia 特
3. AMD 的开箱即用体验非常难以使用，需要相当大的耐心和努力才能达到可用状态。 在我们的大多数基准测试中，AMD PyTorch 的公共 AMD 稳定版本仍然存在问题，我们需要解决方法。
4 如果没有多个 AMD 工程师团队对我们遇到的 AMD 软体错误进行分类和修复的支持，AMD 的结果将远低於 Nvidia。
5 . 我们与 Sustainable Metal Cloud 合作在 256 H100 上运行非官方 MLPerf Training GPT-3 175B，以测试不同 VBoost 设定的效果
6. 对於 AMD 来说，公开稳定发布的软体的真实世界性能与其纸面销售的 TFLOP/s 相差甚远。 Nvidia 的现实世界表现也低於其行销 TFLOP/s，但相差不大。
7. 与 H100/H200 相比，MI300X 的总拥有成本 (TCO) 较低，但在 AMD 软体的公共稳定版本上，MI300X 的每 TCO 训练效能较差。如果使用 AMD 软体的客制化开发版本，情况就会改变。
8. 训练效能较弱，MI300X的矩阵乘法微基准测试表明，AMD公开发布的软体在单节点训练吞吐量上仍落後於Nvidia的H100和H200。
9. MI300X 的效能受到 AMD 软体的阻碍。 BF16开发分支上的AMD MI300X软体具有更好的效能 ，但尚未合并到AMD内部储存库的主要分支中。当它合并到主分支和 PyTorch 稳定版本时，Nvidia Blackwell 将已经可供所有人使用。
10. AMD 的训练表现也受到阻碍，因为 MI300X 无法提供强大的横向扩展效能。这是由於与Nvidia 对其Nvidia 集体通讯库(NCCL)、InfiniBand/Spectrum-X 网路结构和交换器的强大整合相比，其ROCm 计算通讯库(RCCL) 较弱，且AMD 与网路和交换硬体的垂直集成程度较低。
11. 许多 AMD AI 库都是 NVIDIA AI 库的分支，导致结果不佳和相容性问题。
12. AMD 客户倾向於仅使用手动制作的核心进行推理，这意味着它们在非常狭窄的明确定义的用例之外的效能很差，并且不存在快速转移工作负载的灵活性。
-----
Sent from JPTT on my Google Pixel 7 Pro.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.12.147.134 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1735005906.A.14B.html
1F：→ Alwen : 连H100都打不赢，好惨ㄛ 12/24 10:11
2F：推 SSglamr : 卒业 12/24 10:12
3F：推 tomdavis : NV底层蹲了10年 其他人要几年内追上也不容易 12/24 10:12
4F：推 sdbb : 所以obov 早就把AMD 蛋雕 12/24 10:13
5F：推 pieceioriX : AMD是不是要在沙仑建研发中心? 难怪卒业预定 12/24 10:13
6F：嘘 stationary : 难怪教主跳车了 12/24 10:13
7F：推 zerro7 : H100都已经过时产品还... 12/24 10:13
8F：→ Alwen : 难怪aws 里面的人说没人要用AMD GPU是真的 12/24 10:14
9F：推 capssan : 简单来说 AMD卒业 12/24 10:14
10F：→ Alwen : AMD今年还是负报酬 12/24 10:15
11F：推 ck6m454 : AMD就垃圾没人要阿，整年还是跌的不是没原因 12/24 10:16
12F：→ baddaddy : amd软体太差了，没想到游戏显卡的nv driver值5000也 12/24 10:16
13F：→ baddaddy : 能套在AI上 12/24 10:16
14F：嘘 k0611812 : 教主殒落 12/24 10:17
※ 编辑: baddaddy (101.12.147.134 台湾), 12/24/2024 10:18:00
15F：→ ck6m454 : GPU和AI没一个能打 12/24 10:18
16F：→ goodjop : 一个是已经有长远计画 一个只是模仿追尾 是要怎麽比 12/24 10:19
17F：推 dragonjj : 难怪AMD跌这麽惨...AI上面被海放! 12/24 10:19
18F：推 NexusPrime : 真 遥遥领先 12/24 10:22
19F：推 gbman : NV软体值5000!驱动就看的出来了XD 12/24 10:25
20F：推 sdbb : Obov应该年初或Q1就把AMD 倒给小儿了 12/24 10:25
22F：→ CCH2022 : 整合度相容度高，NV体验完胜 12/24 10:26
23F：嘘 abc21086999 : 这是什麽AI转录之後自动翻译的文章吗？ 12/24 10:27
24F：→ abc21086999 : 品质很差 12/24 10:27
25F：→ sdbb : Obov仍大赚，只漏掉tsla 12/24 10:27
26F：推 gbman : AMD还是乖乖做PC CPU X3D和游戏机SOC就好CC 12/24 10:28
27F：推 OSDim : 驱动值五千QQ 12/24 10:28
28F：推 junior020486: 陈先生你的科技水平太落後了 12/24 10:28
29F：嘘 laogiby : AMD电子垃圾 生产出来浪费电的 12/24 10:31
30F：推 falcon11 : 这驱动现在大概值500b 12/24 10:38
31F：推 alcard22 : nv显卡的驱动价格已经是过去式了XD 12/24 10:38
32F：→ alcard22 : AMD看起来路还很长远，看来都反映在股价上了 12/24 10:40
33F：推 oGsMvP : 卒业 12/24 10:41
34F：推 GivemeApen : 还好amd卖在190 嘻嘻 12/24 10:42
35F：推 vincent0911x: 有第一买为什麽要买第二 NV 台G 无限资金买就对了 12/24 10:42
36F：推 ImCPM : 难怪AMD疯狂烙赛 12/24 10:43
37F：推 mopa : cuda岂是说绕就绕得过去的技术 12/24 10:45
38F：推 luvstarrysky: 不意外阿 ppt吹得多屌 实际就多烙赛 12/24 10:49
39F：→ KY1998 : 跟h100比报价有差？而且差满多的？ 12/24 10:49
40F：推 square : AMD的cpu不是一堆人在抢？ 12/24 10:49
41F：→ luvstarrysky: amd还是回去顾好cpu就好吧 市占都还没赢过intel 12/24 10:49
42F：→ Alwen : 星空大师终究还是赶来战场惹 12/24 10:50
43F：→ luvstarrysky: 就想开这麽多条线 还打成这个样子 花一堆钱在AI上 12/24 10:50
44F：→ luvstarrysky: 结果出这什麽垃圾 12/24 10:50
45F：推 Vansace : 目前AMD强的是CPU 谁在吹AI跟GPU? 竹竿装菜刀 12/24 10:52
46F：推 luvstarrysky: 不要最後把大半的钱砸在AI上 结果CPU也被打趴 12/24 10:52
47F：→ luvstarrysky: 毕竟CPU那边也没有说领先多少 一代可能被追上 12/24 10:53
48F：→ Vansace : AMD的AI跟GPU 只是希望就算落後 也不要差太多而已 12/24 10:54
49F：推 Transposon : 星空大在帮呆儿自介欧 12/24 10:55
50F：推 BruceChen227: NVDL继续抱！ 12/24 10:56
51F：→ goodjop : 牙膏给GG代工 CUP很快就可以超越AMD了拉 12/24 10:58
52F：推 luvstarrysky: 对呀 这代intel桌机也才第一代用台积电制程 12/24 11:00
53F：→ luvstarrysky: 当初AMD刚跟台积电合作时也一堆问题 下一代不就 12/24 11:01
54F：→ luvstarrysky: 爆发 12/24 11:01
55F：嘘 gladopo : 连h100都打不赢快岛一岛 12/24 11:02
56F：→ luvstarrysky: 而且intel这一代架构还是用旧的 就MTL的改进版 12/24 11:03
57F：推 Xray2002 : 驱动值5000梗又能用了吗 12/24 11:03
58F：推 aegis43210 : 主要是架构问题，CDNA3不太适合AI运算，等MI350才能 12/24 11:03
59F：→ luvstarrysky: 下一代完全新架构 amd只要不跟着大改进就会被打趴 12/24 11:03
60F：→ aegis43210 : 改善 12/24 11:03
61F：→ gladopo : 产能拿来做9800X3D比较实在啦 12/24 11:03
62F：→ luvstarrysky: 而且到时intel还有自家18A制程 选择更为弹性 12/24 11:04
63F：推 y800122155 : 连CP值都输 可悲啊 现在各家ASIC都搞起来了 12/24 11:05
64F：→ y800122155 : AMD还能抢得到什麽？？ 12/24 11:05
65F：推 sky5566 : 好险没接AMD 12/24 11:08
66F：推 jerrylin : 难怪AMD崩崩 12/24 11:13
67F：→ luvstarrysky: amd就每个市场都想分一杯羹阿 硬凑进来被打烂 12/24 11:18
68F：→ luvstarrysky: 真不知砸一堆钱搞这干嘛 12/24 11:18
69F：→ bnn : 99AMD 卒业预定 12/24 11:30
70F：推 yangcy : 教主已经转仓*黄BG*了,已经逍遥去卒业写生了 12/24 11:33
71F：推 pacino : 难怪a90灰心到连Ptt都不上了 12/24 11:36
72F：→ Heedictator : 卒 12/24 11:38
73F：→ Alwen : a90已经去退休环游世界惹八，身家都十位数惹，连苹 12/24 11:46
74F：→ Alwen : 果工作都辞惹 12/24 11:46
75F：推 a64186401 : 简单总结 NV屌虐 12/24 11:53
76F：推 johnjohnlin : 99amd 12/24 11:55
77F：推 chehsien : MI300很差是早已知了 看MI450有无机会分食Nvidia 12/24 12:12
78F：推 eriker : amd又不能跑ai模型 买来装饰的喔 12/24 12:15
79F：→ CorkiN : 这时间a90大概放假回台湾啦 回台湾的时候几乎都不 12/24 12:52
80F：→ CorkiN : 上线的 12/24 12:52
81F：推 qqpbpp : amd未来价值不在gpu上 12/24 13:49
82F：→ greedypeople: 可是上个被A90说卒业预定的公司....... 12/24 18:29
83F：推 sdbb : AMD没有Elon Musk 12/24 21:12