作者newyorker54 (紐約客)
看板PC_Shopping
標題[請益]兩個改裝方案跑本地LLM
時間Wed Feb 11 10:34:27 2026
先說我的配備
CPU AMD RYZEN 9950
主板 ASUS CROSSHAIR X870E HERO
RAM Kingston furry beast ddr5 5600
32g x2
crucial pro ddr5 6000 32g x2
共128g
ssd 美光 T500 2tb
顯示卡 GIGABYTE GAMING OC 5090
GIGABYTE 4070TIS 16G
共48G VRAM
兩台螢幕用舊的不算錢
跑 GPT_OSS 120B 慢但可接受
QWEN 30B_A3B慢可接受
Deepseek 70b 更慢比gpt-oss 120b 稍快
這塊主板最高記憶體只能加到192gb，
現在128，
vram 現在48gb
因為LLM架在ollama下所以在VRAM不夠時例如在跑OSS 120B模型它會自己調用主機記憶體，速度有變慢，尤其是High thinking模式時，但是這塊板子只能插兩張顯示卡，，如果要順跑120B高思考模式，是換主板再加一張16g或32g顯示卡變成插三張卡或是換掉16g顯示卡改插rtx pro 6000前者是不是C/P值比較高？
後者成本太高，會不會兩個方案跑起來差不多？
-----
Sent from JPTT on my Samsung SM-S7110.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.98.194 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1770777269.A.022.html
※ 編輯: newyorker54 (140.116.98.194 臺灣), 02/11/2026 10:35:38
1F：推 w1222067: 都有預算6000了 還需要想嗎 36.233.99.112 02/11 10:42
2F：推 pphyy5844548: 我覺得東西一多問題比較大，換pro 39.14.17.171 02/11 10:45
3F：→ pphyy5844548: 6000 39.14.17.171 02/11 10:45
4F：推 lordmi: 半年前問的話你還有X99並聯主板加3090魔 223.136.121.73 02/11 10:52
5F：→ lordmi: 改卡x4這個選擇，現在就不用想了 223.136.121.73 02/11 10:52
6F：推 GenShoku: 你只卡在120B的話6000還行，不然直上大 114.137.181.80 02/11 11:06
7F：→ GenShoku: 容量mac比較實在 114.137.181.80 02/11 11:06
8F：推 yymeow: 問題在於原PO是要跑得起來還是跑得不慢 60.250.130.216 02/11 11:16
9F：→ yymeow: 跑得起來，用多張顯卡加上GPU layer off- 60.250.130.216 02/11 11:17
10F：→ yymeow: load是可以上去，但是會卡PCIe還有卡對卡 60.250.130.216 02/11 11:17
11F：→ yymeow: 傳輸瓶頸。若是要順還是要上6000的卡，或 60.250.130.216 02/11 11:18
12F：→ yymeow: 是找統一記憶體的mac mini或GX10 60.250.130.216 02/11 11:18
13F：→ yymeow: 公司用一律上6000的卡，個人的話可以用統 60.250.130.216 02/11 11:19
14F：→ yymeow: 一記憶體的解決方案 60.250.130.216 02/11 11:20
15F：推 patvessel: 層數分割其實對於pcie頻寬的要求很低 125.229.28.82 02/11 11:22
16F：→ patvessel: 只要能塞進vram 傳輸的只有中間值就算 125.229.28.82 02/11 11:22
17F：→ patvessel: 是礦機板都可以跑的起來 125.229.28.82 02/11 11:22
18F：→ patvessel: 只有初次載入會比較慢 125.229.28.82 02/11 11:22
19F：推 yenchieh1102: 光華在海鮮上了一堆運算卡，你去看 220.134.44.227 02/11 11:24
20F：→ yenchieh1102: 看，我剛看到一個VRAM 72G的鬼東西 220.134.44.227 02/11 11:24
21F：→ yenchieh1102: 還比pro 6000便宜 220.134.44.227 02/11 11:24
22F：→ patvessel: 真正的推理的瓶頸還是在vram頻寬 125.229.28.82 02/11 11:25
23F：→ patvessel: 反而是統一記憶體的方案大多會在預充填 125.229.28.82 02/11 11:25
24F：→ patvessel: 階段帶來顯著的落差 125.229.28.82 02/11 11:25
25F：推 eddy13: 5090跑30B A3B應該很快吧114.137.221.213 02/11 11:29
26F：→ newyorker54: 所以請問mac studio 會優於pro 6000? 140.116.98.194 02/11 11:29
27F：推 patvessel: 不會 頻寬和算力都有落差 125.229.28.82 02/11 11:33
28F：→ patvessel: mac 比較像是想省電省空間的權衡方案 125.229.28.82 02/11 11:34
29F：→ patvessel: 單論性能可能還不如你直接塞第三張卡 125.229.28.82 02/11 11:34
30F：→ patvessel: 依我個人立場來說的話 125.229.28.82 02/11 11:38
31F：→ patvessel: 現在這個狀況想初期省錢就塞第三張卡 125.229.28.82 02/11 11:38
32F：→ patvessel: 可以兼顧效能和短期錢包 125.229.28.82 02/11 11:38
33F：→ patvessel: 缺點是供電和排熱環境可能要一起整理 125.229.28.82 02/11 11:38
34F：→ patvessel: 願意多花錢又想追求效能那就上6000 125.229.28.82 02/11 11:38
35F：→ patvessel: 如果要極致的省空間和省電才選擇mac 125.229.28.82 02/11 11:38
36F：→ patvessel: 但同時犧牲了核心算力效能頻寬 和生態 125.229.28.82 02/11 11:38
37F：→ patvessel: 成熟度 125.229.28.82 02/11 11:38
38F：推 lordmi: 哪個更好取決於你的工作重心在哪 如果是 122.116.29.245 02/11 11:43
39F：→ lordmi: 訓練10億個tokens，pro6000理論上快7倍。 122.116.29.245 02/11 11:43
40F：→ lordmi: 如果是推論 最大512gb的studio 比 96gb的 122.116.29.245 02/11 11:43
41F：→ lordmi: pro6000有用很多 122.116.29.245 02/11 11:43
42F：推 agnme2: 5060ti*3+256gb quad _ddr4 2933路過 49.215.231.219 02/11 11:43
43F：推 patvessel: lordmi說的有道理 我的說法是根據原PO 125.229.28.82 02/11 11:45
44F：→ patvessel: 開出的模型清單給的建議 如果想用更大 125.229.28.82 02/11 11:46
45F：推 agnme2: 重點應該在用途，跟能忍受的速度與智商之 49.215.231.219 02/11 11:46
46F：→ agnme2: 間均衡取捨，有錢的話就沒差直接買h200_xd 49.215.231.219 02/11 11:46
47F：→ patvessel: 的模型那前提自然不成立 可以考慮MAC 125.229.28.82 02/11 11:46
48F：→ patvessel: 但是120B的狀況下 是用不到512GB的統一 125.229.28.82 02/11 11:47
49F：→ patvessel: 記憶體的 125.229.28.82 02/11 11:47
50F：→ patvessel: 而要是真的用到512GB的大型模型的話 125.229.28.82 02/11 11:48
51F：→ patvessel: MAC的頻寬又會限制推論速度 125.229.28.82 02/11 11:49
52F：→ patvessel: 那就又回到一開始的問題了 跑得慢 125.229.28.82 02/11 11:49
53F：推 patvessel: 花了更多錢 跑了更大的模型 但是跑得一 125.229.28.82 02/11 11:52
54F：→ patvessel: 樣慢 可能不是原PO想要的吧 125.229.28.82 02/11 11:52
55F：→ vsbrm: 先提預算再來講效果 42.77.60.78 02/11 11:57
56F：推 jychu1132: 不爆VRAM的話PRO 6000 CP值最高 36.225.79.207 02/11 11:59
57F：→ promaster: 不計較預算就mac studio 512GB買齊 1.161.161.205 02/11 12:05
58F：→ promaster: 然後賣掉你現在這套貼補回mac studio 1.161.161.205 02/11 12:05
59F：→ promaster: 絕大部分llm你都能跑了 1.161.161.205 02/11 12:06
60F：→ promaster: 速度怎樣是另外一回事 1.161.161.205 02/11 12:07
61F：推 GenShoku: 現在一堆模型都有flash版，速度其實也不 114.137.181.80 02/11 12:16
62F：→ GenShoku: 會差到不好用，但Mac統合記憶體的超大ra 114.137.181.80 02/11 12:16
63F：→ GenShoku: m就是直接決定你可以使用的模型上限跟上 114.137.181.80 02/11 12:16
64F：→ GenShoku: 下文長度，你如果沒那麼在意速度，以後 114.137.181.80 02/11 12:16
65F：→ GenShoku: 又想跑像step 3.5這類超大模型(192B)， 114.137.181.80 02/11 12:16
66F：→ GenShoku: 直上Mac Studio(256G應該就夠用)會是比 114.137.181.80 02/11 12:16
67F：→ GenShoku: 較實際的選擇 114.137.181.80 02/11 12:16
68F：推 jeff85898: 不用換主板 現在Pcie 5.0 x16頻寬很夠 111.246.10.232 02/11 12:21
69F：→ jeff85898: 用的 111.246.10.232 02/11 12:21
70F：→ jeff85898: 你這張板子有兩組 上拆分卡 可以裝4卡P 111.246.10.232 02/11 12:21
71F：→ jeff85898: cie4.0x16不損效能 111.246.10.232 02/11 12:21
72F：推 Shigeru777: 很執著要跑 GPT OSS 120B的話 直接買 101.10.218.14 02/11 12:31
73F：→ Shigeru777: 個 Mac Studio 256GB 實在 101.10.218.14 02/11 12:31
74F：→ jychu1132: PRO 6000用llama.cpp跑gpt-oss-120b: 36.225.79.207 02/11 12:36
76F：推 saito2190: 你要跑120那就直接買GB10的東西 114.137.71.161 02/11 12:43
77F：→ saito2190: 看是NV的Spark還是ASUS GX10 114.137.71.161 02/11 12:43
78F：→ saito2190: 速度不會是最快 但絕對夠用 114.137.71.161 02/11 12:43
79F：→ saito2190: 如果真的要速度也不要用ollama 114.137.71.161 02/11 12:43
80F：→ saito2190: llama.cpp簡單易用 快10%以上 114.137.71.161 02/11 12:43
81F：→ saito2190: 如果願意花時間學再去搞vllm 114.137.71.161 02/11 12:43
82F：→ saito2190: MAC體系用EXO或MLX應該比較好 114.137.71.161 02/11 12:46
83F：→ saito2190: 但我沒研究過 114.137.71.161 02/11 12:46
84F：推 s78513221: 窮人如我，120b接OpenRouter就好 111.71.77.217 02/11 13:02
86F：推 patvessel: 我是真的看的一頭霧水 現在原po都說問 49.215.242.63 02/11 14:31
87F：→ patvessel: 題不是跑不動 是速度太慢才想升級 怎麼 49.215.242.63 02/11 14:32
88F：→ patvessel: 這麼多人在說速度不重要先買mac ... 49.215.242.63 02/11 14:32
89F：→ patvessel: 不止mac 統一記憶體的東西頻寬上限就在 49.215.242.63 02/11 14:35
90F：→ patvessel: 那邊 要買當然可以 但是那都是權衡和取 49.215.242.63 02/11 14:35
91F：→ patvessel: 捨 49.215.242.63 02/11 14:35
92F：→ patvessel: 真的要便宜連spark或GX10都不用 買個ry 49.215.242.63 02/11 14:35
93F：→ patvessel: zen al 395+ 128g就好了 49.215.242.63 02/11 14:35
94F：推 GenShoku: 沒有看不懂啊 原po不都在文內說慢可接受 114.137.181.80 02/11 14:46
95F：→ GenShoku: 就代表原po是有一定程度的耐慢能力 不 114.137.181.80 02/11 14:46
96F：→ GenShoku: 需要字串用噴出來的速度 所以回答原po只 114.137.181.80 02/11 14:46
97F：→ GenShoku: 跑120B可以挑6000沒錯 但如果未來想跑更 114.137.181.80 02/11 14:46
98F：→ GenShoku: 高等級的模型就考慮mac 有啥問題? 而且M 114.137.181.80 02/11 14:46
99F：→ GenShoku: 5也會把記憶體頻寬大升級 還有神經加速 114.137.181.80 02/11 14:46
100F：→ GenShoku: 你除非要玩訓練或是對速度真的有非常敏 114.137.181.80 02/11 14:46
101F：→ GenShoku: 感的要求那選N卡ok 但未來還想往更大的 114.137.181.80 02/11 14:46
102F：→ GenShoku: 模型去玩 裝不裝的下就會是重點考量項目 114.137.181.80 02/11 14:46
103F：→ GenShoku: 啊 114.137.181.80 02/11 14:46
104F：推 GenShoku: amd的AI生態我不敢亂推就是 114.137.181.80 02/11 14:48
106F：→ GenShoku: 參考這支影片，我覺得這位有把目前主流 114.137.181.80 02/11 14:49
107F：→ GenShoku: 本地玩法的比較都講得蠻清楚的 114.137.181.80 02/11 14:49
108F：→ patvessel: 總之我就先從原po 的場景下去講 49.215.242.63 02/11 15:01
109F：→ patvessel: 模型oss120b 希望提升推論效率 單或低 49.215.242.63 02/11 15:01
110F：→ patvessel: 併發 49.215.242.63 02/11 15:01
111F：→ patvessel: 1.可能最便宜的方式 ：想辦法多接一張 49.215.242.63 02/11 15:01
112F：→ patvessel: 顯示卡讓vram塞得下權重和kv快取 按照v 49.215.242.63 02/11 15:01
113F：→ patvessel: ram頻寬速度比例適當分配層數讓不要成 49.215.242.63 02/11 15:01
114F：→ patvessel: 明顯瓶頸（pcie頻寬只會影響初次載入模 49.215.242.63 02/11 15:01
115F：→ patvessel: 型的時間 相對不重要 可能USB都可以） 49.215.242.63 02/11 15:01
116F：→ patvessel: 弄模型分層跑管線 49.215.242.63 02/11 15:01
117F：→ patvessel: 缺點：供電 散熱是大問題 要想辦法處 49.215.242.63 02/11 15:01
118F：→ patvessel: 理 長期可能更貴 模型分層要自己調到 49.215.242.63 02/11 15:01
119F：→ patvessel: 最佳方案 49.215.242.63 02/11 15:01
120F：→ patvessel: 2.省事高效能的方案：直接買rtx 6000 p 49.215.242.63 02/11 15:01
121F：→ patvessel: ro 49.215.242.63 02/11 15:01
122F：→ patvessel: 記憶體頻寬直接衝上本世代消費級極限 49.215.242.63 02/11 15:01
123F：→ patvessel: 推論效能和預處理都穩定 不用搞散熱和 49.215.242.63 02/11 15:01
124F：→ patvessel: 供電 將來有擴充空間 可以塞第二三張 49.215.242.63 02/11 15:01
125F：→ patvessel: 缺點：貴 想插第二三張更貴 49.215.242.63 02/11 15:01
126F：→ patvessel: 3.提升較小但是戰未來的方案：統一記憶 49.215.242.63 02/11 15:01
127F：→ patvessel: 體方案 包含mac GX10 strixhalo 49.215.242.63 02/11 15:01
128F：→ patvessel: 統一記憶體至少會比現狀的swap地獄快一 49.215.242.63 02/11 15:01
129F：→ patvessel: 點 但是性能提升會遠不如同等級的上述 49.215.242.63 02/11 15:01
130F：→ patvessel: 兩個方案 優點是如果將來有更大的模型 49.215.242.63 02/11 15:01
131F：→ patvessel: 可能可以用更慢的速度跑 49.215.242.63 02/11 15:01
132F：→ commandoEX: AIMAX不算統一記憶體方案吧 59.125.204.130 02/11 15:30
133F：→ commandoEX: 會在BIOS中預分配系統RAM和顯卡獨佔 59.125.204.130 02/11 15:31
134F：推 moonlightz: RTXpro 6000（誤） 114.42.69.215 02/11 15:36
135F：推 Supasizeit: 改用Qwen3 80b （大誤203.204.195.174 02/11 15:48
136F：推 KimomiKai: Pro 6000大概28萬台幣 1.174.132.84 02/11 15:58
137F：→ KimomiKai: 上週的價格 1.174.132.84 02/11 15:59
138F：推 GenShoku: AImax雖然是128G但實際上只能分配96G給 114.137.181.80 02/11 15:59
139F：→ GenShoku: 顯存 容量還是對標6000 要玩大模型還是 114.137.181.80 02/11 15:59
140F：→ GenShoku: 得從mac或多顯卡方案去挑 114.137.181.80 02/11 15:59
141F：→ GenShoku: 也不用將來 現在你192B的模型6000就單卡 114.137.181.80 02/11 16:01
142F：→ GenShoku: 塞不下了 114.137.181.80 02/11 16:01
143F：推 samsonfu: Mac還可以串在一起 49.218.143.118 02/11 16:49
144F：推 qwe753951: AI MAX不必特別設定，讓系統去分配記憶 211.20.26.1 02/11 17:05
145F：→ qwe753951: 體就好了，gpu可以用超過96G 211.20.26.1 02/11 17:05
146F：推 e2ne0: 直上m3 ultra==114.136.169.132 02/11 17:22
147F：推 sdbb: 謝謝推文分享 61.230.77.20 02/11 18:11
148F：推 fukku100: 用vllm 39.12.144.34 02/11 18:47
149F：→ jeff85898: aimax bios設定到最小1G 再在grub改GTT 111.246.10.232 02/11 18:58
150F：→ jeff85898: vram可以調到120G 111.246.10.232 02/11 18:58
151F：推 bhmagic: 4070tis在這個場景應該沒有甚麼幫助? 99.118.209.229 02/11 19:09
152F：→ MizPerfect: Exo 串聯跑 405B，準備 4 台 64GB 的 61.222.237.14 02/11 19:35
153F：→ MizPerfect: Mac Mini，這是目前的甜蜜點 61.222.237.14 02/11 19:35
154F：→ MizPerfect: 4台mini 64G跑405B 你懂的 61.222.237.14 02/11 19:37
155F：→ MizPerfect: 還在那邊120B 61.222.237.14 02/11 19:37
156F：→ jeff85898: 405b是哪個時代的模型來著… 不會是lla 111.246.10.232 02/11 19:41
157F：→ jeff85898: ma3.1吧 111.246.10.232 02/11 19:41
158F：→ jeff85898: 現在minimax glm隨便都贏吧 參數量大又 111.246.10.232 02/11 19:41
159F：→ jeff85898: 沒料 111.246.10.232 02/11 19:41
160F：→ MizPerfect: 所以有組過405B ? 61.222.237.14 02/11 19:46
161F：→ MizPerfect: 原Po 就用Llama 為啥要改用minimax? 61.222.237.14 02/11 19:47
162F：→ jeff85898: 原po哪裡有用llama benchmark贏那麼多 111.246.10.232 02/11 19:56
163F：→ jeff85898: 誰會用llama 111.246.10.232 02/11 19:56
164F：→ MizPerfect: 樓上都有人用llama測了，現階段mac系 218.166.71.84 02/11 20:05
165F：→ MizPerfect: 列就是最優解了 218.166.71.84 02/11 20:05
166F：→ jeff85898: llama.cpp跟ollama是跑llm的平台 沒有 111.246.10.232 02/11 20:09
167F：→ jeff85898: 人會用llama模型 111.246.10.232 02/11 20:09
168F：推 YCL13: 原PO的ollma是不是設成2張GPU平均使用？ 1.161.130.221 02/11 20:54
169F：→ YCL13: 請將4070tis拆掉，然後依qwen3和GPT-oss的 1.161.130.221 02/11 20:54
170F：→ YCL13: 設定建議，將全部layer都offload到RAM上， 1.161.130.221 02/11 20:54
171F：→ YCL13: GPU只跑MOE層就好 1.161.130.221 02/11 20:54
172F：→ YCL13: 想成我常用的NEXT 80B了，30B那個可以全到 1.161.130.221 02/11 20:57
173F：→ YCL13: 5090的VRAM上，不要受4070tis降速 1.161.130.221 02/11 20:58
174F：→ ganei: DRAM夠的話，Ktransformers 可以先試試 114.137.3.68 02/11 21:22
175F：→ newyorker54: 感謝各位高手的建議，等我消化完這些 36.237.190.188 02/11 21:52
176F：→ newyorker54: 訊息，過幾天再來回報 36.237.190.188 02/11 21:52
177F：→ newyorker54: 基本上跑32B或github抓下來的55B都可 36.237.190.188 02/11 21:59
178F：→ newyorker54: 以順跑，兩張顯示卡性能有差距，vllm 36.237.190.188 02/11 21:59
179F：→ newyorker54: 不管我怎麼分配系統都是無法執行，查 36.237.190.188 02/11 21:59
180F：→ newyorker54: 了其他人的經驗，兩張相同顯卡才容易 36.237.190.188 02/11 21:59
181F：→ newyorker54: 設定成功，所以我放棄了vllm跑，直接 36.237.190.188 02/11 21:59
182F：→ newyorker54: 在ollma介面跑，指令環境下也可以，o 36.237.190.188 02/11 21:59
183F：→ newyorker54: llama會自動適配記憶體，所以就沒再 36.237.190.188 02/11 21:59
184F：→ newyorker54: 花時間，可能我功力不夠 36.237.190.188 02/11 21:59
185F：→ plscd: 要買6000就快買要漲了 111.234.169.6 02/12 00:01
186F：推 YCL13: 原PO需求還沒必要換pro6000吧，真要升級， 1.161.130.221 02/12 07:38
187F：→ YCL13: 我是建議把4070tis和舊RAM全賣了，升256G 1.161.130.221 02/12 07:38
188F：推 timTan: Pro 6000 肯定快很多 49.216.104.103 02/13 09:55
189F：→ timTan: Maker Studio 什么都能跑，但是速度不满 49.216.104.103 02/13 09:55
190F：→ timTan: 意啊。 49.216.104.103 02/13 09:55