作者clovermars (ccmail)
看板PC_Shopping
标题[请益] AMD395+跑AI到底合不合适呢
时间Wed Aug 13 18:07:47 2025
看到AI大热
本来想说买一张5060TI 16G 换掉3060TI(I5 11400 32G)
来当自以云端AI伺服机，可是虽然5060TI 够强
但记忆体就16G 似乎20B都不能跑
但感觉要长期开又很热 之前对岸395 配128G 感觉又太多 本身能跑 但是跑不动
最近在看 又看到 极摩客极摩客EVO X2特价阿 64G版本 1T+2T 不用五万
感觉好超值 突然觉得有CP值了 大概模型大小可以大个1.5~1.6倍
请问AMD 跑AI 有经验的各位可以分享吗 手好养阿
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.171.22.86 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1755079669.A.9F8.html
1F：→ linzero: 没用过，是听说GPU的DDR7速度比较快，这 36.226.198.237 08/13 18:14
2F：→ linzero: 种共用、统一记忆体的应该是DDR5？适合大 36.226.198.237 08/13 18:14
3F：→ linzero: 参数模型，但相对GPU计算速度是慢了点 36.226.198.237 08/13 18:15
4F：推 hidexebih: 395好像比较适合LLM 114.35.74.213 08/13 18:18
5F：→ soulgem: lpddr5x,大模型好,像之前gpt-oss-120b... 140.112.30.184 08/13 18:18
6F：→ soulgem: 不过 gpt 扔出来体验跟之前的不一样... 140.112.30.184 08/13 18:19
7F：→ commandoEX: 不建议，395现在只有BETA驱动+平台 118.171.139.97 08/13 18:19
8F：→ commandoEX: 然後记忆频宽不知道为何实测只有理论 118.171.139.97 08/13 18:21
9F：→ commandoEX: 的一半 118.171.139.97 08/13 18:21
10F：推 jior: 395就是一个只有记忆体容量大的东西而已，3 36.231.88.129 08/13 18:33
11F：→ jior: 85还比较均衡一点 36.231.88.129 08/13 18:33
12F：推 jkiu: 一点都不超值，偏贵，但它是你目前除了Mac m 114.25.28.49 08/13 18:35
13F：→ jkiu: ini/studio外跑同时多个中小型或一个稍大一 114.25.28.49 08/13 18:35
14F：→ jkiu: 点的MOE模型的选择 114.25.28.49 08/13 18:35
15F：推 a71245969: LLM可以，跑图影很勉强 49.216.175.119 08/13 18:36
16F：推 lordmi: 我前面说过了395+只适合学校批量采购让学223.137.121.173 08/13 18:36
17F：→ lordmi: 生做作业。什麽用途都能用，都不快，生产223.137.121.173 08/13 18:36
18F：→ lordmi: 力几乎等於零。32+96有些模型进去会闪退223.137.121.173 08/13 18:36
19F：→ jkiu: 总之就是偏贵+频宽不够大，amd的原生roc支援 114.25.28.49 08/13 18:39
20F：→ jkiu: 跟垃圾一样，就卖你一个amd之後修好roc问题 114.25.28.49 08/13 18:39
21F：→ jkiu: 後可能会变快的梦想 114.25.28.49 08/13 18:39
22F：→ Supasizeit: 应该跑得比5090 swap还慢203.204.195.174 08/13 18:58
23F：→ labbat: 这种的不就是串联很多台丢冷气房架伺服器 106.1.243.242 08/13 19:03
24F：→ labbat: 用的吗 热量低效能高就像hp的G1a系列 106.1.243.242 08/13 19:04
25F：推 oppoR20: 学校批量采购 你也太看好学校了 223.140.90.24 08/13 19:08
26F：→ oppoR20: 都马是台银共约点一点 到现在标准还是8g 223.140.90.24 08/13 19:10
27F：→ oppoR20: ram的套装机 223.140.90.24 08/13 19:10
28F：→ oppoR20: 这种东西量少 更不可能大量采购 223.140.90.24 08/13 19:10
29F：推 xylophone135: 频宽太低是硬伤220.136.194.114 08/13 19:11
30F：推 jkiu: 多台跑一般server服务不会用到这个，llm要频 114.25.28.49 08/13 19:12
31F：→ jkiu: 宽，多台效能1+1=0.5 114.25.28.49 08/13 19:12
32F：推 s78513221: 学校跑这个不如学AppleMLX 114.136.11.33 08/13 19:26
33F：→ vsbrm: 除非需要用到大显存(超大模型或是同时跑数 42.77.31.157 08/13 19:36
34F：→ vsbrm: 个模型)要不然不建议395 42.77.31.157 08/13 19:36
35F：推 qwe753951: 没钱的话也没什麽好选的111.241.187.150 08/13 19:46
36F：→ qwe753951: 小小一台还蛮方便的，不过软体还是不行111.241.187.150 08/13 19:47
37F：→ qwe753951: 啊111.241.187.150 08/13 19:47
39F：→ s78513221: 零刻也出了一台 114.136.11.33 08/13 19:57
40F：→ scarbywind: 赌苹果的搞不好还比较有前景 114.46.108.50 08/13 20:16
41F：推 jeff85898: 跑推论效能ok啊 AMD有发一篇demo gpt-o 42.71.129.5 08/13 20:17
42F：→ jeff85898: ss 120b(fp4) 大概30t/s 42.71.129.5 08/13 20:17
44F：推 Pixmi: 我用9070XT在WSL跑SDXL 一张1536x864的图跑 114.35.218.62 08/13 20:18
45F：→ Pixmi: 两分钟左右，给你参考 114.35.218.62 08/13 20:18
46F：→ jeff85898: 但有本地跑模型需求通常都是需要客制化 42.71.129.5 08/13 20:22
47F：→ jeff85898: 吧 这效能也不够微调模型挺尴尬的 不如 42.71.129.5 08/13 20:22
48F：→ jeff85898: 就直接call API 42.71.129.5 08/13 20:22
49F：推 ALuBa13: 395的优点就是如果你有「本地」的需求， 101.12.128.16 08/13 20:29
50F：→ ALuBa13: 它是目前个人用户能入手的选项里相对低成 101.12.128.16 08/13 20:29
51F：→ ALuBa13: 本的(以vram容量来比较)，NV的vram贵森森 101.12.128.16 08/13 20:29
52F：→ ALuBa13: ，要买到够大的容量所费不赀，Mac也是差 101.12.128.16 08/13 20:29
53F：→ ALuBa13: 不多的情况，vram容量是LLM的第一道最基 101.12.128.16 08/13 20:29
54F：→ ALuBa13: 本的门槛，容量不够大装不下就连跑的资格 101.12.128.16 08/13 20:29
55F：→ ALuBa13: 都没有，就不用考虑速度的问题了。但它最 101.12.128.16 08/13 20:29
56F：→ ALuBa13: 大的弱点是AMD的rocm很不好用，不像NV的c 101.12.128.16 08/13 20:29
57F：→ ALuBa13: uda很方便，想用这台跑ai真的就是只能赌A 101.12.128.16 08/13 20:29
58F：→ ALuBa13: MD以後能把rocm改到好用，频宽速度的都是 101.12.128.16 08/13 20:29
59F：→ ALuBa13: 其次；单纯只看纸面参数规格的话我也是对 101.12.128.16 08/13 20:29
60F：→ ALuBa13: 这台很有兴趣，但上网查了一些网友对rocm 101.12.128.16 08/13 20:29
61F：→ ALuBa13: 的评价之後就退缩的保留状态了.... 101.12.128.16 08/13 20:29
62F：推 qwe753951: 他vulkan跑的比较快，ROCm蛋雕111.241.187.150 08/13 20:43
63F：→ labbat: 不否认需求啦，只是倒退50年前的电脑也是 106.1.243.242 08/13 20:50
64F：→ labbat: 工作站电脑迈向个人电脑 106.1.243.242 08/13 20:50
65F：→ labbat: 然後是IBM PC-XT个人电脑以後的趋势至今 106.1.243.242 08/13 20:51
66F：推 EYESOFDARKKE: 不急的话，等DGX Spark再一起评估 114.27.67.149 08/13 21:03
67F：推 Ceferino: 只适合跑MoE架构的LLM吧，记忆体频宽不 123.193.242.14 08/13 21:42
68F：→ Ceferino: 够能跑但龟速你也不会想用，这种东西一 123.193.242.14 08/13 21:42
69F：→ Ceferino: 定是一分钱一分货，真的高CP肯定扫盘不 123.193.242.14 08/13 21:42
70F：→ Ceferino: 用问都知道去抢 123.193.242.14 08/13 21:42
71F：推 CGary: AI395只有跑超大的LLM有点用 炒高就不值了111.241.165.247 08/13 23:13
72F：推 hidexebih: 玩AI一个很实际的观点是，以进出价格来 114.35.74.213 08/13 23:19
73F：→ hidexebih: 看，显卡的使用成本比较低，395不好说 114.35.74.213 08/13 23:19
我也是觉得应该会有很多实际使用的阻力
只是 64G版本 (割32G给内显) 单颗M2的话现在不到四万五
才会问问 的 毕竟5060TI 16G+整台其他的 应该很容易超过四万五
395 应该算降频版的9950X
※ 编辑: clovermars (118.171.22.86 台湾), 08/14/2025 00:20:48
74F：→ spfy: 就9955HX(9950X的笔电版)+近4060超大内显 39.10.65.34 08/14 00:23
75F：→ spfy: +可以任意分割75%记忆体当VRAM的神奇产物 39.10.65.34 08/14 00:23
76F：→ spfy: 我很想买但好像用不到 定位真的很神奇 39.10.65.34 08/14 00:24
77F：→ spfy: 想试可以先找370HX+64G的装置借来玩玩看 39.10.65.34 08/14 00:25
78F：→ spfy: 看看符不符合你想玩的念头(实用性就算了吧) 39.10.65.34 08/14 00:26
79F：→ cutejojocat: 要跑就直接128G吧 能跑oss120b 36.229.227.25 08/14 00:50
80F：推 dos01: 这东西就除非你有很强的除错能力 再加上要210.209.164.247 08/14 00:54
81F：→ dos01: 很强的找解决方案的能力 知道怎麽用那些210.209.164.247 08/14 00:54
82F：→ dos01: 社群去问 不然就多花点钱去买N卡就好210.209.164.247 08/14 00:54
83F：→ dos01: 不用这样搞自己210.209.164.247 08/14 00:54
84F：→ dos01: 真的要有实用性 也是等个几年之後 高手搞出210.209.164.247 08/14 00:56
85F：→ dos01: 个懒人方案 可以动手指点点就用再说210.209.164.247 08/14 00:56
87F：推 s78513221: 看比较下来就是NPU都在偷懒XD 111.71.20.167 08/14 08:56
88F：推 gameguy: 有钱富哥的玩具 114.136.230.21 08/14 09:07
89F：推 lordmi: 想便宜入手又不需要发票的，洋垃圾和双路 36.229.95.234 08/14 10:42
90F：→ lordmi: X99再收几张3080矿卡能做更多事，有财力有 36.229.95.234 08/14 10:43
91F：→ lordmi: 机柜的直接买正经伺服器，要开发环境完整 36.229.95.234 08/14 10:43
92F：→ lordmi: 就macstudio 消去这些市场之後，395也就 36.229.95.234 08/14 10:44
93F：→ lordmi: 只能让预算上不去又要发票还没有机柜只有 36.229.95.234 08/14 10:45
94F：→ lordmi: 时间太多的学校采购了，不然谁会买这个 36.229.95.234 08/14 10:45
95F：推 Baternest: 就自用的玩具 不缺钱可以入手当白老鼠 49.218.142.230 08/14 10:48
96F：→ lordmi: 本地模型顶多装Q2Q3量化幻觉多而且还慢 36.229.95.234 08/14 10:48
97F：→ commandoEX: 现在AI只能从NPU CPU GPU选一个调度 59.125.204.130 08/14 10:50
98F：→ commandoEX: 所以叫GPU做事NPU就会摆烂 59.125.204.130 08/14 10:50
99F：推 shasen1236: 没钱又需要大VRAM就选这个阿，Linux 60.251.66.59 08/14 11:26
100F：→ shasen1236: 不就是这样走来的 60.251.66.59 08/14 11:26
101F：推 mtc5566: 5060Ti 16G选华硕DUAL技嘉WF这种阳春卡 27.52.66.207 08/14 11:48
102F：→ mtc5566: 不贵吧 再次也还有PNY 4060Ti 16G可以拿 27.52.66.207 08/14 11:48
103F：→ mtc5566: N卡贵不是没道理 CUDA人人都说好用 27.52.66.207 08/14 11:48
104F：嘘 kkes0001: 答应我，没钱不要玩AI 223.137.8.42 08/14 12:07
105F：推 Shinnher: 共享记忆体是它优势，应该直上128G吧？ 36.224.222.137 08/14 12:21
106F：→ commandoEX: 共享记忆体(X)超大显示记忆体(O) 59.125.204.130 08/14 16:18
107F：→ tint: 等5070TiS 24GB或是5080S 24GB来降频降压跑 123.204.13.190 08/14 16:47
108F：推 Litfal: 看你跑什麽 生图不必 大语言大模型比较聪 123.241.90.29 08/14 19:53
109F：→ Litfal: 明 但还是有点慢要等 123.241.90.29 08/14 19:53
110F：→ niburger1001: 要生产力就是n卡 大vram 别找自己 1.169.225.102 08/15 05:19
111F：→ niburger1001: 麻烦 1.169.225.102 08/15 05:19
112F：推 NoyVaughty: ROCm 7.0 可以期待一下 59.115.135.94 08/16 15:29
113F：→ NoyVaughty: 各家大厂已经买了MI系列的硬体了，软 59.115.135.94 08/16 15:30
114F：→ NoyVaughty: 体自然会跟上 59.115.135.94 08/16 15:30
115F：→ NoyVaughty: 不然等着被客户骂翻 59.115.135.94 08/16 15:30