作者museangel (敲敲)
看板PC_Shopping
標題Re: [菜單] 10K以內AI機
時間Sun May 4 14:58:22 2025
https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with
_qwen3_so_far/
我看到reddit的上面這篇文，想借這串原文問個問題，
這幾天開源的llm qwen3-235b-a22b，
是不是真的也可以靠cpu跟128gb的ram跑起來，而且速度不算慢、效果也還不錯了？
一般這種上百b等級的llm，用一般消費級gpu就算5090也裝不下。如果用cpu跟ram，成本倒
是可以壓低得多，而且還有比較大的沿用性，不會像gpu每兩年換代折舊不少。
我平常只用gpu跑，沒試過cpu+ram，有沒有前輩有相關經驗，文章裡說到的這種cpu+ram的
跑法有沒有什麼地雷？
※ 引述《steven007 (小乃)》之銘言
: 已買/未買/已付訂金（元）：
: 預算/用途：10K以內AI機
: CPU (中央處理器)：AMD R7 9700X
: MB (主機板)：技嘉 B650M DS3H
: RAM (記憶體)：XPG Lancer D5 6000 16x2 RGB 黑
: VGA (顯示卡)：技嘉RTX5080 WF SFF O16G
: Cooler (散熱器)：Cyber CS6 TUBER ARGB 塔散 黑
: SSD (固態硬碟)：XPG S70 2TB Gen4X4 PCIe SSD
: HDD (硬碟)：
: PSU (電源供應器)：曜越TOUGHPOWER GF3 1000W 金牌
: CHASSIS (機殼)：ASUS Prime AP201 MicroATX白
: MONITOR (螢幕)：沿用
: Mouse/KB (鼠鍵)：
: OS (作業系統)：W11 DIY專業版
: 其它 (自填)：
: 總價 (未稅/含稅)：87000
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.139.209.176 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1746341904.A.D9A.html
1F：→ jhjhs33504: MoE模型的確有這種優勢 1.162.89.91 05/04 14:59
2F：推 applejone: 可以跑啊，只是速度你要能接受 49.214.8.230 05/04 15:28
3F：→ applejone: 我拿4060ti 16G跑32B的模型就覺得慢死 49.214.8.230 05/04 15:29
4F：→ applejone: 了 49.214.8.230 05/04 15:29
5F：→ applejone: 跑235B的我看跑一個問題可能要10分鐘 49.214.8.230 05/04 15:30
6F：→ applejone: 以上甚至無法回應 49.214.8.230 05/04 15:30
7F：→ spfy: 直接LMstudio或Ollama就能試了吧 我用HX370 39.10.1.171 05/04 15:31
8F：→ spfy: 跑DS或任何大於32B的模型 大概個位數token/s 39.10.1.171 05/04 15:32
9F：→ spfy: 能取代GPU老黃就不會這樣躺著賣了 39.10.1.171 05/04 15:33
10F：→ museangel: 看一看reddit別人的好像大概有12~16tp 101.139.36.231 05/04 16:06
11F：→ museangel: s，感覺還行 101.139.36.231 05/04 16:06
12F：推 jhjhs33504: 跑太久無法回應要想想是不是模型檔案 1.162.89.91 05/04 16:16
13F：→ jhjhs33504: 有Quality問題?看是原生就有或量化後? 1.162.89.91 05/04 16:18
14F：→ jhjhs33504: 可能和指令集有關 換個格式有時天差地 1.162.89.91 05/04 16:21
15F：推 observer0117: 235b有點勉強，30b真的很快 220.132.247.29 05/04 16:30
16F：→ observer0117: 試了一下，128G不夠，256可以，速度 220.132.247.29 05/04 16:36
17F：→ observer0117: 只有個位數，但勉強可用 220.132.247.29 05/04 16:36
18F：→ observer0117: 235b需要150G左右的記憶體 220.132.247.29 05/04 16:37
19F：→ observer0117: /no_think速度應該可以更快一點 220.132.247.29 05/04 16:37
20F：→ observer0117: qwen3最厲害的是可以即時切換think/ 220.132.247.29 05/04 16:38
21F：→ observer0117: no_think，很方便 220.132.247.29 05/04 16:38
22F：→ lordmi: 大概個位數tp 玩玩可以，沒有任何生產性 36.229.66.96 05/05 15:38
23F：→ lordmi: 順便一提最近應該有批40系煉丹卡要流入市 36.229.66.96 05/05 15:40
24F：→ lordmi: 面，有跑小模型的人可以買來玩玩 36.229.66.96 05/05 15:41