作者ZMTL (Zaious.)
看板PC_Shopping
標題Fw: [閒聊] RTX3090 單/雙卡 本地LLM運算AI電腦心得
時間Sun Apr 5 17:57:19 2026
※ [本文轉錄自 AI_Art 看板 #1fqY_Ppm ]
這篇算是純粹組裝心得文,拋磚引玉給大家參考,
目標鎖定跑中規模的開源模型,目前來說是Gemma4 26B-A4B,31B 、Qwen3.5 27B,35B-A3B
基本上,我認為GTX3090是唯一信仰,以前沒有以後也不會有這價位的24GB+ VRAM顯卡了,
至於Mac那條路我不熟,有熟的人可以另外補充,但PC架構還是有一定程度的擴充性。
先上組好圖
https://imgs.plurk.com/QHO/ESJ/LMCfqiXl7TN0oC1300Y2hCUHhFZ_lg.jpg
https://imgs.plurk.com/QHO/KlS/0f4g0RGTY5fJTcbIahpwkdQK9Qj_lg.jpg
以下是我實際用過的
單3090配置
CPU (中央處理器):i5-12400
MB (主機板):TUF GAMING B660-PLUS WIFI D4
RAM (記憶體):金士頓 64GB(32GB*2) DDR4-3200
VGA (顯示卡):ZOTAC RTX 3090 TRINITY 24G
SSD (固態硬碟):Kingston金士頓 KC3000 1TB M.2
PSU (電源供應器):全漢 HYDRO G PRO 1000W/金牌/全模
CHASSIS (機殼):全漢 CMT370
後來有一度上到128GB記憶體,發現真的沒啥用,
這張單沒什麼特別的,現在照著張組一台二手的應該也沒什麼問題,
唯一的細節是僅適合單3090,要雙3090基本上大半台都要換掉,見以下
------------
雙3090配置
CPU (中央處理器):i5-12400
MB (主機板):MSI Z690 FORCE WIFI
RAM (記憶體):威剛 64GB(32GB*2) DDR5-4800
VGA (顯示卡):ZOTAC RTX 3090 TRINITY 24G
MSI RTX 3090 Suprim X
SSD (固態硬碟):Kingston金士頓 KC3000 1TB M.2
PSU (電源供應器):振華 Leadex 1200W
CHASSIS (機殼):Phanteks Enthoo Pro 2 Server Edition + 9 顆 TL-C12C-S
只留下了CPU、SSD、一張3090,沒了,對,就是這麼坑
因為雙3090跑LLM,LLM要能把模型拆給兩張跑需要能讓兩張PCIE直連8x/8x的主機板,
這個條件,基本上DDR4的主機板中沒有。
就連DDR5,也只有部分的690跟790有,同一系690有不代表790有,
不要問我為什麼我不知道,Claude的答案是後續的主機板會把槽留給硬碟?
是不是8x/8x 最快的判斷方式是看主機板是不是兩張顯卡槽
都有顏色
舉例來說:
這張是(FORCE是CARBON的白色版)
https://tw.msi.com/Motherboard/MPG-Z690-CARBON-WIFI
這張不是
https://tw.msi.com/Motherboard/MPG-Z790-CARBON-WIFI
我家AI列出LGA1700符合條件的顯卡如下:
MSI MPG Z690 CARBON WiFi
MSI MEG Z690 / Z790 ACE (MEG 旗艦級才有保留)
MSI MEG Z690 UNIFY / UNIFY-X
ASUS ProArt Z690 / Z790-CREATOR WiFi
ASUS ROG Maximus 系列 (Z690/Z790 Hero, Extreme)
Gigabyte Z690 / Z790 AERO D
ASRock Z690 / Z790 Taichi
AI可能會有幻覺請自行核對、其他腳位可能也要自己研究。
不過幫我組上電腦的資工系朋友說我照著AI開菜單組完幾乎沒買錯東西也是很厲害。
(有啦,Claude建議我買一個風扇Hub ,後來發現利民內建串接了算是個小失誤)
機殼方面,感謝得到來自這篇文的Zenryaku、ack0011以及其他板友的建議
https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1773376727.A.FCF.html
最後是綜合Claude意見採用Phanteks Enthoo Pro 2 Server Edition
保證顯卡的呼吸空間,優點是整個機殼有15個風扇孔可以裝,吹好吹滿。
https://www.phanteks.com.tw/Enthoo-Pro2-Server.html
https://images.plurk.com/rtYk5LSoncMUC6wnrUTR9.png
雖然我目前還是兩張3090疊羅漢,但我覺得應該可以考慮一張拉去旁邊站,
這個打算下禮拜再來處理,也請大家再建議一下直立方案
(右邊硬碟下方應該可以對吧,我沒那麼多硬碟)
大家會覺得有點痛的應該還是在漲價後的DRAM上,
全新的DDR4 32G一隻大概 6-8000、全新的DDR5 32G 都要上萬了,
最後我買二手的DDR5 32Gx2 花了15000,這部分也僅供參考。
至於未來會不會跌?我是說不準,但3090我看漲是肯定的。
三年前第一張3090我買19000,上個月第二張3090我買24000,現在價錢大家可以自己看看
目前規劃上來說,跑本地模型不是為了取代雲端模型。
是讓本地模型完成大量基礎、涉及機敏的工作,舉例來說:
‧大量 code review 初篩,只把複雜問題送給 Sonnet/Opus
‧機密文件問答,資料不出門
‧多代理人架構的執行層,成本歸零
‧24 小時批次推理,電費比 API 費用省
在本地跑 Qwen / Gemma,雲端留給真正需要判斷力的任務。
我認為 LLM Router 架構才是 2026 年 AI 工作流的核心建設。
Claude 很厲害,但我不會假設它永遠都在,掌握自己的動態算力,
這才是黃仁勳說的 Sovereign AI。
以上是不專業分享,歡迎指導,感謝。
--
AI_Art AI藝術/生成式AI板 歡迎各方前來討論生成式AI相關議題!
◆ 從 Human-in-the-Loop → Human-AI Symbiosis (人機共生) ◆
LinkedIn:
https://www.linkedin.com/in/zaious/
GitHub :
https://github.com/Zaious
ChronicleCore (Multi-Agent Ecosystem) 白皮書:
https://github.com/Zaious/ChronicleCore-Architecture
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.184.211 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1775382489.A.CF0.html
※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:04
※ 發信站: 批踢踢實業坊(ptt.cc)
※ 轉錄者: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:19
1F:→ ZMTL: 看過板規應該沒什麼冒犯的地方嗎...? 感謝 114.27.184.211 04/05 17:58
2F:→ ZMTL: 電蝦板尤其是Zenryaku大在我幾次組電腦都給 114.27.184.211 04/05 17:58
3F:→ ZMTL: 了相當詳盡的意見,希望把一點AI PC的範本 114.27.184.211 04/05 17:58
4F:→ ZMTL: 轉來板上提供給未來有需要的人參考。 114.27.184.211 04/05 17:58
5F:推 bobbyac01: 48G跑個30B上下估計只能Q4 也不知道你 1.169.228.66 04/05 18:01
6F:→ bobbyac01: 有沒有建vLLM SGLang 離生產級好遠 1.169.228.66 04/05 18:01
7F:推 Luciferspear: 先推再看 1.171.207.231 04/05 18:01
8F:推 william456: 3090的背板太燙 114.42.243.63 04/05 18:02
9F:推 jhjhs33504: 單機生產級多工養龍蝦最低IQ2_XXS起跳 36.228.11.93 04/05 18:07
10F:推 jhjhs33504: 少數模型還有1bit量化技術 應該能更省 36.228.11.93 04/05 18:11
11F:→ ZMTL: 雙3090能跑的模型不可能當龍蝦主腦啦 114.27.184.211 04/05 18:15
12F:推 yenchieh1102: 推 101.10.0.87 04/05 18:15
13F:→ ZMTL: 負責資料收集、文件翻譯、知識歸納都很有用 114.27.184.211 04/05 18:15
14F:→ ZMTL: 上面這些工作讓Cluade來跑才真的浪費 114.27.184.211 04/05 18:16
15F:推 kaj1983: 感謝分享配備,看來cpu不用買太好也能跑 218.166.17.234 04/05 18:21
16F:推 Rollnmeow: 不知有沒有勇者嘗試雙ARC B70的 49.216.252.165 04/05 18:32
17F:→ EBVirus: 想請問你的結論這幾個模型哪個比較好用 36.239.20.247 04/05 18:34
18F:→ EBVirus: ? Gemma 4 31b還是qwen3.5 27b還是35b? 36.239.20.247 04/05 18:34
可以參考AI板文章
https://webptt.com/m.aspx?n=bbs/AI_Art/M.1772731938.A.221.html
https://webptt.com/m.aspx?n=bbs/AI_Art/M.1775187123.A.6FB.html
快速結論:
要推理:雲端超級模型 eg.Opus 4.6 > GPT 5.4 > Gemini 3.1 Pro
地端苦工(翻譯、資料清洗):Defense 模型 Gemma4 31B、 Qwen3.5 27B
地端高效(聊天、問題警報):MoE 模型 Gemma4 26B-A4B、Qwen3.5 35B-A3B
中文需求:Qwen3.5
多模態任務:Gemma4
19F:推 weiber82: 還是每個月花100美好了… 27.247.32.53 04/05 18:34
20F:→ ZMTL: Gemma4我還沒事,我目前都跑Qwen 114.27.184.211 04/05 18:35
21F:→ ZMTL: 然後Claude我每個月是訂200$,100$都不夠用 114.27.184.211 04/05 18:35
22F:→ ZMTL: 不過Claude這幾天才嚴令用Oauth串訂閱養蝦 114.27.184.211 04/05 18:36
23F:→ ZMTL: 你要養蝦還是要評估怎麼節流 114.27.184.211 04/05 18:36
24F:推 saito2190: 兩張卡應該是vLLM para開2去跑了吧 1.161.179.230 04/05 18:38
25F:→ saito2190: 都玩到這樣了總不會還在用ollama... 1.161.179.230 04/05 18:38
26F:→ saito2190: 不知道Qwen3.5 Tool Call的Bug修好了 1.161.179.230 04/05 18:39
27F:→ saito2190: 沒 1.161.179.230 04/05 18:39
誠實來說,我組完雙卡就回家過清明了,還在研究怎麼跑雙卡比較實際,
所以這篇基本上是提供硬體上的心得XD
※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 18:53:06
28F:推 YCL13: Qwen3.5雖然很強,但使用上真問題一堆 1.161.159.4 04/05 18:51
29F:推 jhjhs33504: 量化模型要Q8_K或Q8_K_L問題會少很多 36.228.11.93 04/05 19:01
30F:推 jhjhs33504: 居然還有少數Q8_K_XL量化模型品質更好 36.228.11.93 04/05 19:05
31F:推 YukihanaLami: 推 我就是拉到旁邊站 兩張卡疊加放 118.168.254.20 04/05 19:10
32F:→ YukihanaLami: 置不適合我這溫度敏感黨 118.168.254.20 04/05 19:10
33F:推 YCL13: 如果接受拉到旁邊站...其實用拆分卡就好, 1.161.159.4 04/05 19:19
34F:→ YCL13: 不過原PO本來的卡有點低階不確定是否支援 1.161.159.4 04/05 19:19
35F:→ YCL13: 本來的MB 1.161.159.4 04/05 19:20
36F:→ crimsonmoon9: 3090有沒有考慮上nvlink 42.77.204.245 04/05 19:20
37F:推 ack0011: 其實X570比較容易找到符合的,或是多花 123.241.15.208 04/05 19:53
38F:→ ack0011: 一點找個TR4 X399就能隨便插,還能用相 123.241.15.208 04/05 19:53
39F:→ ack0011: 對便宜的16G湊到128G 123.241.15.208 04/05 19:53
40F:→ ZMTL: 對了我要請教一下,直立架+延長線到底能不能 114.27.184.211 04/05 19:58
41F:→ ZMTL: 保留x8啊,硬體我真的很不懂XDDD 114.27.184.211 04/05 19:58
42F:→ himekami: X570 proart我記得有x8/x8 111.83.25.151 04/05 20:06
43F:推 bobbyac01: 直立架跟延長線本身目標就是跑PCIe X1 1.169.228.66 04/05 20:24
44F:→ bobbyac01: 6 1.169.228.66 04/05 20:24
45F:→ bobbyac01: 你要跑x8不會有太大問題 1.169.228.66 04/05 20:24
46F:→ bobbyac01: 但是需要小心訊號不穩 1.169.228.66 04/05 20:24
47F:→ bobbyac01: 有擔心的話可以考慮SFF系列的轉接卡 1.169.228.66 04/05 20:24
48F:推 autopass: 3090 也要缺貨了嗎? 140.109.40.73 04/05 20:28
49F:推 fu1vu03: 如果只是翻譯功能這幾天玩Gemma 4 E4B感 125.229.5.91 04/05 20:30
50F:→ fu1vu03: 覺比gemma 3 27B還好用 125.229.5.91 04/05 20:30
51F:推 jhjhs33504: Gemma 4 E4B還支援音訊 Qwen3.5有台語 36.228.11.93 04/05 20:34
52F:推 d0178411: 前幾天才看到有人雙3090延長線燒毀 樓主 111.71.212.155 04/05 20:36
53F:→ d0178411: 要用好一點的延長線啊 111.71.212.155 04/05 20:36
54F:推 hangtenboy: 看不懂還是給推 114.43.130.151 04/05 20:42
55F:推 Rollnmeow: 原PO指的延長線是PCIE 我還沒聽過會燒 36.227.219.87 04/05 20:49
58F:推 william456: 有人燒過喔,不少個 114.42.243.63 04/05 20:57
59F:→ ZMTL: 好用的延長線跟直立架有推薦嗎XD 114.27.184.211 04/05 20:59
60F:推 jack2k: 以現在RAM/SSD金貴的程度,有這樣的需求, 114.45.25.190 04/05 21:01
61F:→ jack2k: DGX Spark好像也不是不能考慮了? 114.45.25.190 04/05 21:01
62F:→ Rollnmeow: 這有調查過原因嗎?我猜也是觸點問題 36.227.219.87 04/05 21:01
63F:推 taobnug: 目前3090用oculink外接(pcie3.0x4)跑c 111.82.146.63 04/05 21:07
64F:→ taobnug: omfyui和llm使用約一年,一切順暢。 111.82.146.63 04/05 21:07
65F:推 william456: 沒去追蹤,不知道跟GN之前拍過的nz 114.42.243.63 04/05 21:43
66F:→ william456: xt h1是不是同問題,但品牌都不同 114.42.243.63 04/05 21:43
67F:推 Rollnmeow: 如果什麼牌子的線都有機會燒起來 36.227.219.87 04/05 21:50
68F:→ Rollnmeow: 我看解法只剩在機殼裡放熱像儀了 36.227.219.87 04/05 21:50
69F:推 lordmi: 我好奇nvlink在消費級系統裡面有多大幫助 36.229.66.36 04/05 22:33
70F:→ lordmi: ,有機會跑一下比較w 36.229.66.36 04/05 22:33
71F:→ ZMTL: 根據Claude的說法,有沒有Nvlink 跑LLM大概 101.8.89.246 04/05 22:39
72F:→ ZMTL: 差10-15%,主要還是靠PCIE連通,但我不知道 101.8.89.246 04/05 22:39
73F:→ ZMTL: 真的假的XD 101.8.89.246 04/05 22:39
74F:推 Supasizeit: TP 跟NVLink好像可以一起上?203.204.195.174 04/05 23:05
75F:→ Supasizeit: VLLM文件是寫可以203.204.195.174 04/05 23:06
76F:推 ByPass128: 差30到50趴,之前看的實測 27.247.121.167 04/06 00:50
78F:推 hsuallan: 翻譯可以試試translate-gemma 61.228.92.55 04/06 01:14
79F:→ hsuallan: 自己本地跑起還行 看VT直播夠用了 61.228.92.55 04/06 01:15
80F:推 qwe753951: 我之前是用Mac studio 放桌上不會吵 114.38.67.135 04/06 03:12
81F:→ qwe753951: mac那邊比較簡單,有多少錢買多少ram, 114.38.67.135 04/06 03:17
82F:→ qwe753951: 一台不夠買兩台 114.38.67.135 04/06 03:17
83F:推 michael4210: 3090要搞nvlink的話橋接器非常難買也106.107.176.151 04/06 05:06
84F:→ michael4210: 不便宜,當初我也是想這樣玩但後來發106.107.176.151 04/06 05:06
85F:→ michael4210: 現成本太高,最後只用一張3090106.107.176.151 04/06 05:06
86F:推 blueballer: 看來現在就是AI分流的時代了,高難度 223.137.135.24 04/06 07:20
87F:→ blueballer: 工作給各家最強的AI,簡單、機敏的任 223.137.135.24 04/06 07:20
88F:→ blueballer: 務交給本地模型,不然龍蝦token用量 223.137.135.24 04/06 07:21
89F:→ blueballer: 太大了,不過想問原po任務分配給哪個 223.137.135.24 04/06 07:21
90F:→ blueballer: 模型龍蝦能自己判斷嗎?還是下指令前 223.137.135.24 04/06 07:21
91F:→ blueballer: 要註明? 223.137.135.24 04/06 07:21
93F:→ uly: 這網站來測試你本地的模型 很好玩 看能否上23 112.71.133.53 04/06 08:00
94F:推 uly: 我自己的判斷是 token gen>50/s sql分>21 112.71.133.53 04/06 08:10
95F:→ uly: 才算是日常寫程式可用 112.71.133.53 04/06 08:10
96F:推 uly: 我只有3080TI12GB 用Qwen35 35B也能到70/s 23 112.71.133.53 04/06 08:24
97F:推 uly: 某些9B蒸餾版本有16分的跑在8G卡簡單task能用 112.71.133.53 04/06 08:28
98F:推 meloxxl: 12G也能跑35b嗎 我問AI他說會卡成狗 建 123.192.184.46 04/06 11:57
99F:→ meloxxl: 議要有24g以上樓上大大的35b模型有壓縮 123.192.184.46 04/06 11:57
101F:→ crimsonmoon9: Q4大概18GB Q3或Q2可能塞得下吧 42.77.204.245 04/06 12:04
102F:→ crimsonmoon9: 日常使用可以選低參數量的 寫程式才 42.77.204.245 04/06 12:07
103F:→ crimsonmoon9: 比較需要高參數量加上低精度 42.77.204.245 04/06 12:07
104F:推 uly: Qwen3.5 35B A3B MOE架構12G可跑 27B卡成狗 112.71.133.53 04/06 12:41
105F:→ uly: 12GB卡都會用Q4左右量化 112.71.133.53 04/06 12:42
106F:推 necrophagist: Moe架構比dense快很多 即使檔案較 111.81.34.139 04/06 12:50
107F:→ necrophagist: 大offload到ram的部分更多也一樣 111.81.34.139 04/06 12:50
108F:→ necrophagist: 但dense模型真的就是比較聰明 111.81.34.139 04/06 12:51
109F:推 YCL13: 簡單來說,多數的AI在回答問題時都沒把MOE 59.115.163.173 04/06 13:05
110F:→ YCL13: 放在答案裡,才會說出offload就是慢這種話 59.115.163.173 04/06 13:05
111F:→ YCL13: ,像記憶體和CPU沒影響說法也是這麼來的 59.115.163.173 04/06 13:05
112F:→ crimsonmoon9: MoE通常都比較快啊 只是跟同量級模 42.77.204.245 04/06 13:07
113F:→ crimsonmoon9: 型比active的參數比較少所以沒那麼 42.77.204.245 04/06 13:07
114F:→ crimsonmoon9: 聰明 比較像知識廣但是不深 42.77.204.245 04/06 13:07
115F:→ crimsonmoon9: 如果整個模型可以全塞進VRAM裡幾乎 42.77.204.245 04/06 13:08
116F:→ crimsonmoon9: 可以說沒有影響是沒錯 42.77.204.245 04/06 13:08
117F:推 YCL13: MOE換取速度的代價就是樓上說的聰明,不過 59.115.163.173 04/06 13:10
118F:→ YCL13: 模型的能力一直在提升,我就覺得gemma4 26B 59.115.163.173 04/06 13:10
119F:→ YCL13: A4B非常接近Qwen3.5 27B 59.115.163.173 04/06 13:10
120F:推 Rightclick: 很想把Lab兩張3090組起來,但教授說沒 39.12.138.153 04/06 13:56
121F:→ Rightclick: 有雙x16損耗太大拒絕了.. 39.12.138.153 04/06 13:56
122F:→ crimsonmoon9: 找一台epyc就有一堆x16了(x 42.77.204.245 04/06 14:03
123F:→ linlun0807: 我也在考慮這套組合 抑或是要衝6000pr 125.228.86.78 04/06 14:54
124F:→ linlun0807: o 125.228.86.78 04/06 14:54
125F:推 pxhome: 3090原生不支援FP8, 只能INT8或者FP16, 36.230.188.35 04/06 15:30
126F:→ pxhome: 24GB只是好看而已 36.230.188.35 04/06 15:30
127F:推 pxhome: 只有Hopper以後的TensorCore才支持FP8 36.230.188.35 04/06 15:33
128F:→ pxhome: 首選4090的,或者24GB的MAC M4 36.230.188.35 04/06 15:34
129F:推 pxhome: Intel ARC B60/B70算力太低不適合跑AI 36.230.188.35 04/06 15:36
130F:→ pxhome: 30B量化至少要16GB,再往上70B首選是4090 36.230.188.35 04/06 15:37
131F:→ pxhome: 24GB 36.230.188.35 04/06 15:37
132F:推 pxhome: 會推MAC是因為GPU&CPU統一記憶體架構,24G 36.230.188.35 04/06 15:40
133F:→ pxhome: B 250GB/s的頻寬相當於GDDR5 256Bit跑30B 36.230.188.35 04/06 15:40
134F:→ pxhome: 還夠用 36.230.188.35 04/06 15:40
135F:→ pxhome: MAC MINI M4 PRO 36.230.188.35 04/06 15:42
136F:→ pxhome: gemma-4-31B-it 4Bit量化,VRAM佔用量, 36.230.188.35 04/06 15:50
137F:→ pxhome: 最大19GB 36.230.188.35 04/06 15:50
138F:→ pxhome: 如果你的口袋夠深可以拿64GB 36.230.188.35 04/06 15:52
139F:推 pxhome: M4 MAX 536GB /s 相當於256Bit GDDR6 , 6 36.230.188.35 04/06 16:06
140F:→ pxhome: 4GB跑 70B 4Bit量化很流暢,重點價格還比3 36.230.188.35 04/06 16:06
141F:→ pxhome: 2GB的5090單卡便宜一些,也不用擔心那個 36.230.188.35 04/06 16:06
142F:→ pxhome: 該死的12pin燒卡 36.230.188.35 04/06 16:06
143F:→ pxhome: MAC Studio 36.230.188.35 04/06 16:07
144F:→ pxhome: 如果模型有支援MLX, 比如說Gemma 3N, 36.230.188.35 04/06 16:14
145F:→ pxhome: 可以改用Apple Silicon 16核心NPU來做數 36.230.188.35 04/06 16:14
146F:→ pxhome: 學推論,作同樣的一件事性能提高了3倍,功 36.230.188.35 04/06 16:14
147F:→ pxhome: 耗只有1/10,這是NV GPU的弱點 36.230.188.35 04/06 16:14
148F:推 newyorker54: 剛剛測本地gemma 4 , score 21 36.237.178.163 04/06 16:20
150F:推 jhjhs33504: 4Bit量化首選gpt-oss其他品質損耗太大 36.228.11.93 04/06 16:24
151F:推 jhjhs33504: 模型回覆的品質體感難以單一指標評估 36.228.11.93 04/06 16:27
152F:→ jhjhs33504: 跑分通常是快慢 很多模型問多容易跑題 36.228.11.93 04/06 16:30
153F:推 scarbywind: 有測試影片說m5比m4快一倍 39.14.32.88 04/06 18:04
154F:→ necrophagist: 發現前面推文圖的ai也太多幻覺了吧 111.81.34.139 04/06 18:13
155F:→ necrophagist: 笑死xd qwen3.5 7b/14b根本不存在 111.81.34.139 04/06 18:13
156F:→ necrophagist: 的模型 叫它更新確認網路資料再比 111.81.34.139 04/06 18:13
157F:→ necrophagist: 啦 111.81.34.139 04/06 18:13
158F:推 jhjhs33504: 可惜速度快的gpt-oss不具圖像辨識能力 36.228.11.93 04/06 18:26
159F:推 newyorker54: 自己用qwen3.5-27b測score 23, 幹掉k 36.237.178.163 04/06 18:27
160F:→ newyorker54: imi k2.5 , 對標qwen3.6 plus 36.237.178.163 04/06 18:27
161F:→ newyorker54: 幹掉glm 5, 這是真的嗎? 36.237.178.163 04/06 18:27
162F:→ newyorker54: 還比 gpt 5.4高我是不太相信這個數據 36.237.178.163 04/06 18:28
164F:推 uly: 各個benchmark有其觀察面向SQL看的是tooling 112.71.133.53 04/06 21:12
165F:→ uly: 比如說長上下文能力在這個SQL就看不出來 112.71.133.53 04/06 21:13
166F:推 uly: Qwen3.5 27B可能在這種單SQL場景正確性高 112.71.133.53 04/06 21:17
167F:推 Esvent: 最近剛好在玩 5090+3090(x4) 效果還不錯223.137.179.211 04/07 08:51
168F:→ Esvent:223.137.179.211 04/07 08:51
169F:→ Esvent: magnum 72b q4_k_ml 速度超快 品質還算可223.137.179.211 04/07 08:51
170F:→ Esvent: 以223.137.179.211 04/07 08:51
171F:→ Esvent: magnum 123b iq3_xxs 速度慢一些 但更聰223.137.179.211 04/07 08:51
172F:→ Esvent: 明223.137.179.211 04/07 08:51
173F:→ Esvent: 不過期間把OS搞壞幾次 後來發現是ddr5 e223.137.179.211 04/07 08:51
174F:→ Esvent: xpo 還有主機板ai 超頻的問題 關掉就穩了223.137.179.211 04/07 08:51
175F:推 w1222067: x8 x8 主機板 不少阿 36.233.68.24 04/07 10:30
176F:→ ZMTL: 不確定是不是因為我不想換CPU,還是該連CPU 60.250.61.214 04/07 11:19
177F:→ ZMTL: 都一起換掉 60.250.61.214 04/07 11:19
178F:→ ZMTL: 1700腳位的真的少 60.250.61.214 04/07 11:19
179F:推 yymeow: AM5或1851的x8/x8板子選擇就不少 60.250.130.216 04/07 11:58
180F:推 newyorker54: 不具圖像辨識能力,可以用mcp調用工120.114.249.100 04/07 15:13
181F:→ newyorker54: 具,像minimax m2.5可以mcp調用工具120.114.249.100 04/07 15:13
182F:→ newyorker54: 就可以圖像辨識,ocr, 生成影片120.114.249.100 04/07 15:13
183F:→ newyorker54: 我有實做過,但是mcp 呼叫有被其他模120.114.249.100 04/07 15:16
184F:→ newyorker54: 型改寫過,造成語法不合,現在還在想120.114.249.100 04/07 15:16
185F:→ newyorker54: 辦法復原120.114.249.100 04/07 15:16
186F:推 basterds: 想組台來看youtube和玩麥塊 223.139.193.4 04/07 16:57
187F:→ RaiGend0519: 看一看電腦裡的3080 1.168.0.50 04/07 23:59
188F:→ RaiGend0519: 還是看大神們怎麼玩吧QwQ 1.168.0.50 04/07 23:59
189F:推 maurice20097: 48gb可以用Gemma 4 31b fp8的版本 125.227.199.49 04/08 13:17
190F:→ maurice20097: ,跑起來蠻順的 125.227.199.49 04/08 13:17
191F:推 Nitricacid: 現在訂閱流量都玩不透明的計算...早 101.10.13.29 04/08 23:42
192F:→ Nitricacid: 晚都是要自幹的不然等著被養套殺 101.10.13.29 04/08 23:42
193F:→ lordmi: 本地小模型現在就能當玩具沒有生產力,等114.136.240.199 04/09 09:46
194F:→ lordmi: 共通記憶體128白菜價的時候再談自幹吧114.136.240.199 04/09 09:46
195F:→ lordmi: 補充這句只限個人領域。商用的話不管多少114.136.240.199 04/09 09:48
196F:→ lordmi: 錢都是洗下去,太多機密資料要本地弄了114.136.240.199 04/09 09:48
197F:推 AlfaCEcho: 推 42.77.22.192 04/09 21:07
198F:→ bearq258: gx10 買下去 可以用很久,二手也有要 42.78.40.161 05/14 08:13