作者zzahoward (Cheshire Cat)
看板Stock
标题Re: [新闻] AMD处理器压倒性胜利 市占率飙至92%
时间Thu Feb 6 10:24:38 2025
关於AMD呢，在老黄GPU又贵产量又少的状态下
目前已经不少人找方法剔除不用GPU的方式去建立Local LLaMA了
在R1横空出世後的一个多月内，大量公司/个人小型workstation已经开发出一些东西
之後系统商和模型/权重持续最佳化状态下，应该能有更好的产出
简单来说，这套系统最重要的就是RAM频宽和大小
所以使用EPYC MZ73板子，可以有24个DDR5通道
全部插满32GB ram，启动时有足够的SSD空间把R1丢到RAM里面就好
这样的设定可以在Q8状态下去跑完整模型，而不是蒸馏过的
当然，这样的配置不会有700GB VRAM的机器还快
但你有700GB VRAM的设备大概要12万USD左右
以目前这套大概不到6000 USD就可以组出来的设备，产出约在6~8tok/s左右
但要是AMD和系统厂能够合作推出更专业的产品
R1目前的开源以及社群的热络，可以让老黄的GPU变成CP值超低的奢侈品
而目前EPYC这样的配置，已经足够多数中小型企业/软体公司使用
甚至比你去租赁算力还便宜
AMD就算GPU在搞笑，但AI的部分绝对不会缺席
只要老黄故意把VRAM卡在那边拿翘
拿时间换钱的企业和个人使用者不需要那麽快的生成
AMD和系统厂包装一下大有搞头好吗
BTW，因为主要瓶颈是RAM频宽和大小，所以CPU本身也不用太高阶的，够算就好了
就算用9115或是9015也不会损失太多
能耗部分也很省，上面那组系统耗电量大概就是在400W左右
想想你跟老黄买到700GB的Vram去布署，要花多少电XDDD
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 136.226.240.114 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738808680.A.A73.html
1F：推 uke823 : 99AMD 02/06 10:25
2F：嘘 BMTH5566 : apple： 02/06 10:26
M4 pro也可以跑喔，效率非常好，只是水果店RAM都焊死的超贵
所以只能跑蒸馏过得比较好
※ 编辑: zzahoward (136.226.240.114 台湾), 02/06/2025 10:30:37
3F：推 jeangodard : LLM後 AI的下一步是什麽 02/06 10:32
4F：→ LDPC : 5090就够了 还有之後的老黄Project DIGITS 02/06 10:34
5F：推 stlinman : 训练和推理本来存在差异。目前CP值应该租赁算力<本 02/06 10:38
6F：→ goodjop : 这比较偏终端吧 别老是拿终端比云端 02/06 10:39
7F：→ stlinman : 地部属。 除非有资讯安全、隐私的需求不然长期还是 02/06 10:39
8F：→ stlinman : 偏云端。 02/06 10:40
9F：→ stlinman : 租赁算力 > 本地部属 02/06 10:41
10F：→ jayemshow : 我也是这样想 买入AMD套到现在 供参 02/06 10:50
11F：推 Roger5566 : 推 所以AMD可以进场罗 02/06 10:54
12F：→ lc85301 : 99AMD 02/06 10:55
13F：→ bnn : 99AMD 没啦 这表示板子频宽问题 要炒CPO吗 02/06 10:55
14F：推 CMPunk : 我等AMD二位数再进场 没有就算了 02/06 10:58
15F：→ JoeyChen : 教主会再出山吗 02/06 11:06
16F：嘘 PureAnSimple: 要做多了吗？只分析没钱赚 02/06 11:37
17F：推 koebel0521 : 99 AMD 02/06 11:43
18F：→ v21638245 : 想太多，amd寄生售价还少吗 02/06 11:47
19F：推 s987692 : 股版一堆人还在看gaap eps…真的傻眼 02/06 11:54
20F：→ wr : 简单来说~ 99AMD 02/06 11:56
21F：推 kuan870704 : 想太多，AMD只要发现这样有利可图马上就会涨价到cp 02/06 11:59
22F：→ kuan870704 : 值跟老黄一样低ㄏㄏ 02/06 11:59
23F：→ kuan870704 : 黑暗骑士的小丑就说过了如果你很擅长某件事千万别免 02/06 12:00
24F：→ kuan870704 : 费去做 02/06 12:00
25F：推 mcgrady12336: 你这篇一年前彦州包围网讲过了，後来他也放弃直接 02/06 12:04
26F：→ mcgrady12336: 投奔老黄，八成又什麽技术垄断无法短期克服 02/06 12:04
27F：→ ader888 : 绝对不会缺席，只是不公布营收了 02/06 12:09
28F：推 deann : 水果店的RAM可以变成VRAM来用 02/06 12:10
29F：→ IBIZA : 这篇讲的跟AMD没有直接关系 02/06 12:36
30F：→ IBIZA : 这篇是说你可以用支援多通道记忆体的CPU架构, 把完 02/06 12:47
31F：→ IBIZA : 整版的R3 load到记忆体跑, 只要记忆体有三百多G就可 02/06 12:51
32F：→ IBIZA : 以 02/06 12:51
33F：推 moike22 : AMD:我的股价不是这麽说的QQ 02/06 12:53
34F：嘘 LMgogo : 股价？ 02/06 13:30
35F：嘘 lise1017 : 大量公司早就已经不用晶片来训练模型了 最新发现原 02/06 13:37
36F：→ lise1017 : 来用泡面也可以训练大模型 有人正在尝试看看用麦香 02/06 13:37
37F：→ lise1017 : 能不能 你还在用晶片 呵呵 02/06 13:37
38F：→ lise1017 : 用300x300的阿Q桶面训练出来的大模型效率居然等同 02/06 13:39
39F：→ lise1017 : GPT 据说泡菜口味效能更甚 02/06 13:39
40F：推 Lowpapa : 晶片已死 02/06 15:56
41F：推 youtrue : 结果股价一塌糊涂 02/06 16:24