AI_Art 板


LINE

這篇算是純粹組裝心得文,拋磚引玉給大家參考, 目標鎖定跑中規模的開源模型,目前來說是Gemma4 26B-A4B,31B 、Qwen3.5 27B,35B-A3B 基本上,我認為GTX3090是唯一信仰,以前沒有以後也不會有這價位的24GB+ VRAM顯卡了, 至於Mac那條路我不熟,有熟的人可以另外補充,但PC架構還是有一定程度的擴充性。 先上組好圖 https://imgs.plurk.com/QHO/ESJ/LMCfqiXl7TN0oC1300Y2hCUHhFZ_lg.jpg
https://imgs.plurk.com/QHO/KlS/0f4g0RGTY5fJTcbIahpwkdQK9Qj_lg.jpg
以下是我實際用過的 單3090配置 CPU (中央處理器):i5-12400 MB (主機板):TUF GAMING B660-PLUS WIFI D4 RAM (記憶體):金士頓 64GB(32GB*2) DDR4-3200 VGA (顯示卡):ZOTAC RTX 3090 TRINITY 24G SSD (固態硬碟):Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器):全漢 HYDRO G PRO 1000W/金牌/全模 CHASSIS (機殼):全漢 CMT370 後來有一度上到128GB記憶體,發現真的沒啥用, 這張單沒什麼特別的,現在照著張組一台二手的應該也沒什麼問題, 唯一的細節是僅適合單3090,要雙3090基本上大半台都要換掉,見以下 ------------ 雙3090配置 CPU (中央處理器):i5-12400 MB (主機板):MSI Z690 FORCE WIFI RAM (記憶體):威剛 64GB(32GB*2) DDR5-4800 VGA (顯示卡):ZOTAC RTX 3090 TRINITY 24G MSI RTX 3090 Suprim X SSD (固態硬碟):Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器):振華 Leadex 1200W CHASSIS (機殼):Phanteks Enthoo Pro 2 Server Edition + 9 顆 TL-C12C-S 只留下了CPU、SSD、一張3090,沒了,對,就是這麼坑 因為雙3090跑LLM,LLM要能把模型拆給兩張跑需要能讓兩張PCIE直連8x/8x的主機板, 這個條件,基本上DDR4的主機板中沒有。 就連DDR5,也只有部分的690跟790有,同一系690有不代表790有, 不要問我為什麼我不知道,Claude的答案是後續的主機板會把槽留給硬碟? 是不是8x/8x 最快的判斷方式是看主機板是不是兩張顯卡槽都有顏色 舉例來說: 這張是(FORCE是CARBON的白色版) https://tw.msi.com/Motherboard/MPG-Z690-CARBON-WIFI 這張不是 https://tw.msi.com/Motherboard/MPG-Z790-CARBON-WIFI 我家AI列出LGA1700符合條件的顯卡如下: MSI MPG Z690 CARBON WiFi MSI MEG Z690 / Z790 ACE (MEG 旗艦級才有保留) MSI MEG Z690 UNIFY / UNIFY-X ASUS ProArt Z690 / Z790-CREATOR WiFi ASUS ROG Maximus 系列 (Z690/Z790 Hero, Extreme) Gigabyte Z690 / Z790 AERO D ASRock Z690 / Z790 Taichi AI可能會有幻覺請自行核對、其他腳位可能也要自己研究。 不過幫我組上電腦的資工系朋友說我照著AI開菜單組完幾乎沒買錯東西也是很厲害。 (有啦,Claude建議我買一個風扇Hub ,後來發現利民內建串接了算是個小失誤) 機殼方面,感謝得到來自這篇文的Zenryaku、ack0011以及其他板友的建議 https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1773376727.A.FCF.html 最後是綜合Claude意見採用Phanteks Enthoo Pro 2 Server Edition 保證顯卡的呼吸空間,優點是整個機殼有15個風扇孔可以裝,吹好吹滿。 https://www.phanteks.com.tw/Enthoo-Pro2-Server.html https://images.plurk.com/rtYk5LSoncMUC6wnrUTR9.png
雖然我目前還是兩張3090疊羅漢,但我覺得應該可以考慮一張拉去旁邊站, 這個打算下禮拜再來處理,也請大家再建議一下直立方案 (右邊硬碟下方應該可以對吧,我沒那麼多硬碟) 大家會覺得有點痛的應該還是在漲價後的DRAM上, 全新的DDR4 32G一隻大概 6-8000、全新的DDR5 32G 都要上萬了, 最後我買二手的DDR5 32Gx2 花了15000,這部分也僅供參考。 至於未來會不會跌?我是說不準,但3090我看漲是肯定的。 三年前第一張3090我買19000,上個月第二張3090我買24000,現在價錢大家可以自己看看 目前規劃上來說,跑本地模型不是為了取代雲端模型。 是讓本地模型完成大量基礎、涉及機敏的工作,舉例來說: ‧大量 code review 初篩,只把複雜問題送給 Sonnet/Opus ‧機密文件問答,資料不出門 ‧多代理人架構的執行層,成本歸零 ‧24 小時批次推理,電費比 API 費用省 在本地跑 Qwen / Gemma,雲端留給真正需要判斷力的任務。 我認為 LLM Router 架構才是 2026 年 AI 工作流的核心建設。 Claude 很厲害,但我不會假設它永遠都在,掌握自己的動態算力, 這才是黃仁勳說的 Sovereign AI。 以上是不專業分享,歡迎指導,感謝。 -- AI_Art AI藝術/生成式AI板 歡迎各方前來討論生成式AI相關議題! ◆ 從 Human-in-the-Loop → Human-AI Symbiosis (人機共生) ◆ LinkedInhttps://www.linkedin.com/in/zaious/ GitHubhttps://github.com/Zaious ChronicleCore (Multi-Agent Ecosystem) 白皮書: https://github.com/Zaious/ChronicleCore-Architecture --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.184.211 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1775382489.A.CF0.html ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:04
1F:推 qiaffvvf: 電費的部分你怎麼看xd 04/05 18:07
2F:推 YCL13: 有Z690 AERO D,但沒有Z790 AERO D,直到Z890才回歸 04/05 18:08
3F:→ ZMTL: 電費隨便啦問題不大XD 而且我養鼠夏天本來就冷氣開滿 04/05 18:14
4F:推 newyorker54: 恭喜 04/05 18:43
5F:推 newyorker54: 用llama.cpp,模型大的,上下文開大都會把記憶體吃到 04/05 18:51
6F:→ newyorker54: 滿 04/05 18:51
附上目前 LLM Router 的快速理解: 要推理:雲端超級模型 eg.Opus 4.6 > GPT 5.4 ? Gemini 3.1 Pro 地端苦工(翻譯、資料清洗):Defense 模型 Gemma4 31B、 Qwen3.5 27B 地端高效(聊天、問題警報):MoE 模型 Gemma4 26B-A4B、Qwen3.5 35B-A3B 中文需求:Qwen3.5 多模態任務:Gemma4 ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 18:55:14
7F:推 marklai: 我另一台pc 5070ti+2060 12G在ollama 跑gemma4 26b(q4 04/06 01:08
8F:→ marklai: 18gb)還不錯,在comfyui中叫2060跑不會太慢,gemma4比gem 04/06 01:08
9F:→ marklai: ma3好很多,甚至覺得比qwen3.5 35b好 04/06 01:08
10F:推 Bustycat: 也有說法Qwen3.5-27B圖像識別還是比Gemma4-31B強 04/06 01:44
11F:→ Bustycat: 有觀察過Mac mini M4跑那些大模型大概三十多W 04/06 01:45
12F:推 ganei: 推,Linux底下NV的卡可以拉V/F曲線降壓了,建議降一下省點 04/06 04:07
13F:→ ganei: 電費也減輕PSU跟顯卡散熱壓力,這邊買不起3090跑去搞3080 04/06 04:07
14F:→ ganei: 20G加減頂一下,將來不夠用的話再來考慮要不要加第二片,雖 04/06 04:07
15F:→ ganei: 然問Gemini 跑Ktransformers 的選項它給我選V100 64G這個場 04/06 04:07
16F:→ ganei: 外全壘打... 04/06 04:07
17F:推 YCL13: KT基本概念其實算是MOE+offload,這和原PO更新電腦時選的強 04/06 07:54
18F:→ YCL13: GPU(VRAM)但弱CPU少RAM的概念並不相符,實務上並不會比一般 04/06 07:54
19F:→ YCL13: 軟體跑MOE架構時的offload帶來更多的幫助 04/06 07:54
20F:推 YCL13: 原PO目前最適合的方案就是將LLM全上VRAM來跑,在推理應用上 04/06 07:57
21F:→ YCL13: 雙3090的GPU應該不可能跑滿,所以可以先降壓限功耗來避免高 04/06 07:57
22F:→ YCL13: 溫,然後再試能否拉高VRAM的時脈來提升速度 04/06 07:58
23F:→ YCL13: 至於LLM全上VRAM跑,考量難易度和速度,vllm的TP是好選擇 04/06 07:59
24F:推 YCL13: 而言些不同軟體的差異最關鍵處是資料的傳遞,記得數月前在 04/06 08:04
25F:→ YCL13: reddit上有個緬甸人用了老舊的弱NB跑LLM,在自己寫程式改善 04/06 08:05
26F:→ YCL13: 資料傳遞效率下,得到出乎意料的高效率,超多人按讚的,這 04/06 08:05
27F:→ YCL13: 也是大家在跑LLM時應該注意的事 04/06 08:05
28F:推 erix007: 很棒的分享! 04/06 18:01
29F:→ ganei: RAM超頻老實講不建議,30系列拿去當礦卡操最先死的就是RAM 04/08 18:38
30F:→ ganei: ,何況是最熱又雙面記憶體的90系列,那點token 不值得拿卡 04/08 18:38
31F:→ ganei: 賭命 04/08 18:38
32F:→ ganei: 有看到3090跑fp8的怪招:轉成int8跑,大概比塞到fp16硬跑慢 04/09 10:01
33F:→ ganei: 一點,但儲存跟頻寬需求同fp8,對VRAM錙銖必較的話也是可以 04/09 10:01
34F:→ ganei: 考慮 04/09 10:01
35F:推 YCL13: 要不要提升時脈就看個人決擇吧 04/10 07:35
36F:→ YCL13: 至於FP8的問題,轉int8或反算fp16之類的應用很多,已經不算 04/10 07:35
37F:→ YCL13: 是問題了,相較之fp4好像還沒看到較佳的改進方案 04/10 07:35
38F:推 marklai: 可否舉一些fp8 3090不能跑的模型?我的3090用了兩三年了 04/10 11:51
39F:→ marklai: ,好像還沒遇過不能跑的模型或LLM 04/10 11:51
40F:推 YCL13: 不會不能跑呀,只差在效能和VRAM佔用量,不過各種改進方案 04/11 08:37
41F:→ YCL13: 出來後,差距應該不大了,如果想比較可找自己慣用的軟體在 04/11 08:37
42F:→ YCL13: 一年前的舊版和現在的新版來跑同個模型,或許可以大概看出 04/11 08:37
43F:→ YCL13: 改進前後的差距 04/11 08:37
44F:推 marklai: 感謝,3090還是很好用的,隔壁板剛剛賣一張24K馬上秒殺 04/11 17:23
45F:→ marklai: ,很多人搶著買 04/11 17:23
46F:推 YCL13: 國內算比較晚搶了,去年GPT-oss-120B出來時,國外不少人搞 04/11 20:17
47F:→ YCL13: 4張來跑(用拆分卡或外接都有),那時大家還相信5080 24G會出 04/11 20:17
48F:→ YCL13: ,所以3090非常便宜呢 04/11 20:17
49F:→ YCL13: 說到GPT-oss這模型就是用3090原生不支援的FP4訓練出來的, 04/11 20:18
50F:→ YCL13: 討論區中很多人還是跑得很滿意呀 04/11 20:18
51F:→ a0989876: 3090拿來跑沒有遇到vram發熱問題嗎 04/12 14:56
52F:→ a0989876: 以前3090拿來挖礦最怕就是VRAM衝到快破百度 降頻 04/12 14:56
53F:推 Supasizeit: 那個是散熱貼脆掉了 我的4080也是 hotspot溫度降不下 04/13 12:24
54F:→ Supasizeit: 來 自己改又破保 又懶得送保固 04/13 12:24







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:WOW站內搜尋

TOP