作者clovermars (ccmail)
看板PC_Shopping
標題[請益] AMD395+跑AI到底合不合適呢
時間Wed Aug 13 18:07:47 2025
看到AI大熱
本來想說買一張5060TI 16G 換掉3060TI(I5 11400 32G)
來當自以雲端AI伺服機，可是雖然5060TI 夠強
但記憶體就16G 似乎20B都不能跑
但感覺要長期開又很熱 之前對岸395 配128G 感覺又太多 本身能跑 但是跑不動
最近在看 又看到 极摩客极摩客EVO X2特價阿 64G版本 1T+2T 不用五萬
感覺好超值 突然覺得有CP值了 大概模型大小可以大個1.5~1.6倍
請問AMD 跑AI 有經驗的各位可以分享嗎 手好養阿
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.22.86 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1755079669.A.9F8.html
1F：→ linzero: 沒用過，是聽說GPU的DDR7速度比較快，這 36.226.198.237 08/13 18:14
2F：→ linzero: 種共用、統一記憶體的應該是DDR5？適合大 36.226.198.237 08/13 18:14
3F：→ linzero: 參數模型，但相對GPU計算速度是慢了點 36.226.198.237 08/13 18:15
4F：推 hidexebih: 395好像比較適合LLM 114.35.74.213 08/13 18:18
5F：→ soulgem: lpddr5x,大模型好,像之前gpt-oss-120b... 140.112.30.184 08/13 18:18
6F：→ soulgem: 不過 gpt 扔出來體驗跟之前的不一樣... 140.112.30.184 08/13 18:19
7F：→ commandoEX: 不建議，395現在只有BETA驅動+平台 118.171.139.97 08/13 18:19
8F：→ commandoEX: 然後記憶頻寬不知道為何實測只有理論 118.171.139.97 08/13 18:21
9F：→ commandoEX: 的一半 118.171.139.97 08/13 18:21
10F：推 jior: 395就是一個只有記憶體容量大的東西而已，3 36.231.88.129 08/13 18:33
11F：→ jior: 85還比較均衡一點 36.231.88.129 08/13 18:33
12F：推 jkiu: 一點都不超值，偏貴，但它是你目前除了Mac m 114.25.28.49 08/13 18:35
13F：→ jkiu: ini/studio外跑同時多個中小型或一個稍大一 114.25.28.49 08/13 18:35
14F：→ jkiu: 點的MOE模型的選擇 114.25.28.49 08/13 18:35
15F：推 a71245969: LLM可以，跑圖影很勉強 49.216.175.119 08/13 18:36
16F：推 lordmi: 我前面說過了395+只適合學校批量採購讓學223.137.121.173 08/13 18:36
17F：→ lordmi: 生做作業。什麼用途都能用，都不快，生產223.137.121.173 08/13 18:36
18F：→ lordmi: 力幾乎等於零。32+96有些模型進去會閃退223.137.121.173 08/13 18:36
19F：→ jkiu: 總之就是偏貴+頻寬不夠大，amd的原生roc支援 114.25.28.49 08/13 18:39
20F：→ jkiu: 跟垃圾一樣，就賣你一個amd之後修好roc問題 114.25.28.49 08/13 18:39
21F：→ jkiu: 後可能會變快的夢想 114.25.28.49 08/13 18:39
22F：→ Supasizeit: 應該跑得比5090 swap還慢203.204.195.174 08/13 18:58
23F：→ labbat: 這種的不就是串聯很多台丟冷氣房架伺服器 106.1.243.242 08/13 19:03
24F：→ labbat: 用的嗎 熱量低效能高就像hp的G1a系列 106.1.243.242 08/13 19:04
25F：推 oppoR20: 學校批量採購 你也太看好學校了 223.140.90.24 08/13 19:08
26F：→ oppoR20: 都馬是台銀共約點一點 到現在標準還是8g 223.140.90.24 08/13 19:10
27F：→ oppoR20: ram的套裝機 223.140.90.24 08/13 19:10
28F：→ oppoR20: 這種東西量少 更不可能大量採購 223.140.90.24 08/13 19:10
29F：推 xylophone135: 頻寬太低是硬傷220.136.194.114 08/13 19:11
30F：推 jkiu: 多台跑一般server服務不會用到這個，llm要頻 114.25.28.49 08/13 19:12
31F：→ jkiu: 寬，多台效能1+1=0.5 114.25.28.49 08/13 19:12
32F：推 s78513221: 學校跑這個不如學AppleMLX 114.136.11.33 08/13 19:26
33F：→ vsbrm: 除非需要用到大顯存(超大模型或是同時跑數 42.77.31.157 08/13 19:36
34F：→ vsbrm: 個模型)要不然不建議395 42.77.31.157 08/13 19:36
35F：推 qwe753951: 沒錢的話也沒什麼好選的111.241.187.150 08/13 19:46
36F：→ qwe753951: 小小一台還蠻方便的，不過軟體還是不行111.241.187.150 08/13 19:47
37F：→ qwe753951: 啊111.241.187.150 08/13 19:47
39F：→ s78513221: 零刻也出了一台 114.136.11.33 08/13 19:57
40F：→ scarbywind: 賭蘋果的搞不好還比較有前景 114.46.108.50 08/13 20:16
41F：推 jeff85898: 跑推論效能ok啊 AMD有發一篇demo gpt-o 42.71.129.5 08/13 20:17
42F：→ jeff85898: ss 120b(fp4) 大概30t/s 42.71.129.5 08/13 20:17
44F：推 Pixmi: 我用9070XT在WSL跑SDXL 一張1536x864的圖跑 114.35.218.62 08/13 20:18
45F：→ Pixmi: 兩分鐘左右，給你參考 114.35.218.62 08/13 20:18
46F：→ jeff85898: 但有本地跑模型需求通常都是需要客製化 42.71.129.5 08/13 20:22
47F：→ jeff85898: 吧 這效能也不夠微調模型挺尷尬的 不如 42.71.129.5 08/13 20:22
48F：→ jeff85898: 就直接call API 42.71.129.5 08/13 20:22
49F：推 ALuBa13: 395的優點就是如果你有「本地」的需求， 101.12.128.16 08/13 20:29
50F：→ ALuBa13: 它是目前個人用戶能入手的選項裡相對低成 101.12.128.16 08/13 20:29
51F：→ ALuBa13: 本的(以vram容量來比較)，NV的vram貴森森 101.12.128.16 08/13 20:29
52F：→ ALuBa13: ，要買到夠大的容量所費不貲，Mac也是差 101.12.128.16 08/13 20:29
53F：→ ALuBa13: 不多的情況，vram容量是LLM的第一道最基 101.12.128.16 08/13 20:29
54F：→ ALuBa13: 本的門檻，容量不夠大裝不下就連跑的資格 101.12.128.16 08/13 20:29
55F：→ ALuBa13: 都沒有，就不用考慮速度的問題了。但它最 101.12.128.16 08/13 20:29
56F：→ ALuBa13: 大的弱點是AMD的rocm很不好用，不像NV的c 101.12.128.16 08/13 20:29
57F：→ ALuBa13: uda很方便，想用這台跑ai真的就是只能賭A 101.12.128.16 08/13 20:29
58F：→ ALuBa13: MD以後能把rocm改到好用，頻寬速度的都是 101.12.128.16 08/13 20:29
59F：→ ALuBa13: 其次；單純只看紙面參數規格的話我也是對 101.12.128.16 08/13 20:29
60F：→ ALuBa13: 這台很有興趣，但上網查了一些網友對rocm 101.12.128.16 08/13 20:29
61F：→ ALuBa13: 的評價之後就退縮的保留狀態了.... 101.12.128.16 08/13 20:29
62F：推 qwe753951: 他vulkan跑的比較快，ROCm蛋雕111.241.187.150 08/13 20:43
63F：→ labbat: 不否認需求啦，只是倒退50年前的電腦也是 106.1.243.242 08/13 20:50
64F：→ labbat: 工作站電腦邁向個人電腦 106.1.243.242 08/13 20:50
65F：→ labbat: 然後是IBM PC-XT個人電腦以後的趨勢至今 106.1.243.242 08/13 20:51
66F：推 EYESOFDARKKE: 不急的話，等DGX Spark再一起評估 114.27.67.149 08/13 21:03
67F：推 Ceferino: 只適合跑MoE架構的LLM吧，記憶體頻寬不 123.193.242.14 08/13 21:42
68F：→ Ceferino: 夠能跑但龜速你也不會想用，這種東西一 123.193.242.14 08/13 21:42
69F：→ Ceferino: 定是一分錢一分貨，真的高CP肯定掃盤不 123.193.242.14 08/13 21:42
70F：→ Ceferino: 用問都知道去搶 123.193.242.14 08/13 21:42
71F：推 CGary: AI395只有跑超大的LLM有點用 炒高就不值了111.241.165.247 08/13 23:13
72F：推 hidexebih: 玩AI一個很實際的觀點是，以進出價格來 114.35.74.213 08/13 23:19
73F：→ hidexebih: 看，顯卡的使用成本比較低，395不好說 114.35.74.213 08/13 23:19
我也是覺得應該會有很多實際使用的阻力
只是 64G版本 (割32G給內顯) 單顆M2的話現在不到四萬五
才會問問 的 畢竟5060TI 16G+整台其他的 應該很容易超過四萬五
395 應該算降頻版的9950X
※ 編輯: clovermars (118.171.22.86 臺灣), 08/14/2025 00:20:48
74F：→ spfy: 就9955HX(9950X的筆電版)+近4060超大內顯 39.10.65.34 08/14 00:23
75F：→ spfy: +可以任意分割75%記憶體當VRAM的神奇產物 39.10.65.34 08/14 00:23
76F：→ spfy: 我很想買但好像用不到 定位真的很神奇 39.10.65.34 08/14 00:24
77F：→ spfy: 想試可以先找370HX+64G的裝置借來玩玩看 39.10.65.34 08/14 00:25
78F：→ spfy: 看看符不符合你想玩的念頭(實用性就算了吧) 39.10.65.34 08/14 00:26
79F：→ cutejojocat: 要跑就直接128G吧 能跑oss120b 36.229.227.25 08/14 00:50
80F：推 dos01: 這東西就除非你有很強的除錯能力 再加上要210.209.164.247 08/14 00:54
81F：→ dos01: 很強的找解決方案的能力 知道怎麼用那些210.209.164.247 08/14 00:54
82F：→ dos01: 社群去問 不然就多花點錢去買N卡就好210.209.164.247 08/14 00:54
83F：→ dos01: 不用這樣搞自己210.209.164.247 08/14 00:54
84F：→ dos01: 真的要有實用性 也是等個幾年之後 高手搞出210.209.164.247 08/14 00:56
85F：→ dos01: 個懶人方案 可以動手指點點就用再說210.209.164.247 08/14 00:56
87F：推 s78513221: 看比較下來就是NPU都在偷懶XD 111.71.20.167 08/14 08:56
88F：推 gameguy: 有錢富哥的玩具 114.136.230.21 08/14 09:07
89F：推 lordmi: 想便宜入手又不需要發票的，洋垃圾和雙路 36.229.95.234 08/14 10:42
90F：→ lordmi: X99再收幾張3080礦卡能做更多事，有財力有 36.229.95.234 08/14 10:43
91F：→ lordmi: 機櫃的直接買正經伺服器，要開發環境完整 36.229.95.234 08/14 10:43
92F：→ lordmi: 就macstudio 消去這些市場之後，395也就 36.229.95.234 08/14 10:44
93F：→ lordmi: 只能讓預算上不去又要發票還沒有機櫃只有 36.229.95.234 08/14 10:45
94F：→ lordmi: 時間太多的學校採購了，不然誰會買這個 36.229.95.234 08/14 10:45
95F：推 Baternest: 就自用的玩具 不缺錢可以入手當白老鼠 49.218.142.230 08/14 10:48
96F：→ lordmi: 本地模型頂多裝Q2Q3量化幻覺多而且還慢 36.229.95.234 08/14 10:48
97F：→ commandoEX: 現在AI只能從NPU CPU GPU選一個調度 59.125.204.130 08/14 10:50
98F：→ commandoEX: 所以叫GPU做事NPU就會擺爛 59.125.204.130 08/14 10:50
99F：推 shasen1236: 沒錢又需要大VRAM就選這個阿，Linux 60.251.66.59 08/14 11:26
100F：→ shasen1236: 不就是這樣走來的 60.251.66.59 08/14 11:26
101F：推 mtc5566: 5060Ti 16G選華碩DUAL技嘉WF這種陽春卡 27.52.66.207 08/14 11:48
102F：→ mtc5566: 不貴吧 再次也還有PNY 4060Ti 16G可以拿 27.52.66.207 08/14 11:48
103F：→ mtc5566: N卡貴不是沒道理 CUDA人人都說好用 27.52.66.207 08/14 11:48
104F：噓 kkes0001: 答應我，沒錢不要玩AI 223.137.8.42 08/14 12:07
105F：推 Shinnher: 共享記憶體是它優勢，應該直上128G吧？ 36.224.222.137 08/14 12:21
106F：→ commandoEX: 共享記憶體(X)超大顯示記憶體(O) 59.125.204.130 08/14 16:18
107F：→ tint: 等5070TiS 24GB或是5080S 24GB來降頻降壓跑 123.204.13.190 08/14 16:47
108F：推 Litfal: 看你跑什麼 生圖不必 大語言大模型比較聰 123.241.90.29 08/14 19:53
109F：→ Litfal: 明 但還是有點慢要等 123.241.90.29 08/14 19:53
110F：→ niburger1001: 要生產力就是n卡 大vram 別找自己 1.169.225.102 08/15 05:19
111F：→ niburger1001: 麻煩 1.169.225.102 08/15 05:19
112F：推 NoyVaughty: ROCm 7.0 可以期待一下 59.115.135.94 08/16 15:29
113F：→ NoyVaughty: 各家大廠已經買了MI系列的硬體了，軟 59.115.135.94 08/16 15:30
114F：→ NoyVaughty: 體自然會跟上 59.115.135.94 08/16 15:30
115F：→ NoyVaughty: 不然等著被客戶罵翻 59.115.135.94 08/16 15:30