作者museangel (敲敲)
看板PC_Shopping
标题Re: [菜单] 10K以内AI机
时间Sun May 4 14:58:22 2025
https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with
_qwen3_so_far/
我看到reddit的上面这篇文，想借这串原文问个问题，
这几天开源的llm qwen3-235b-a22b，
是不是真的也可以靠cpu跟128gb的ram跑起来，而且速度不算慢、效果也还不错了？
一般这种上百b等级的llm，用一般消费级gpu就算5090也装不下。如果用cpu跟ram，成本倒
是可以压低得多，而且还有比较大的沿用性，不会像gpu每两年换代折旧不少。
我平常只用gpu跑，没试过cpu+ram，有没有前辈有相关经验，文章里说到的这种cpu+ram的
跑法有没有什麽地雷？
※ 引述《steven007 (小乃)》之铭言
: 已买/未买/已付订金（元）：
: 预算/用途：10K以内AI机
: CPU (中央处理器)：AMD R7 9700X
: MB (主机板)：技嘉 B650M DS3H
: RAM (记忆体)：XPG Lancer D5 6000 16x2 RGB 黑
: VGA (显示卡)：技嘉RTX5080 WF SFF O16G
: Cooler (散热器)：Cyber CS6 TUBER ARGB 塔散 黑
: SSD (固态硬碟)：XPG S70 2TB Gen4X4 PCIe SSD
: HDD (硬碟)：
: PSU (电源供应器)：曜越TOUGHPOWER GF3 1000W 金牌
: CHASSIS (机壳)：ASUS Prime AP201 MicroATX白
: MONITOR (萤幕)：沿用
: Mouse/KB (鼠键)：
: OS (作业系统)：W11 DIY专业版
: 其它 (自填)：
: 总价 (未税/含税)：87000
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.139.209.176 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1746341904.A.D9A.html
1F：→ jhjhs33504: MoE模型的确有这种优势 1.162.89.91 05/04 14:59
2F：推 applejone: 可以跑啊，只是速度你要能接受 49.214.8.230 05/04 15:28
3F：→ applejone: 我拿4060ti 16G跑32B的模型就觉得慢死 49.214.8.230 05/04 15:29
4F：→ applejone: 了 49.214.8.230 05/04 15:29
5F：→ applejone: 跑235B的我看跑一个问题可能要10分钟 49.214.8.230 05/04 15:30
6F：→ applejone: 以上甚至无法回应 49.214.8.230 05/04 15:30
7F：→ spfy: 直接LMstudio或Ollama就能试了吧 我用HX370 39.10.1.171 05/04 15:31
8F：→ spfy: 跑DS或任何大於32B的模型 大概个位数token/s 39.10.1.171 05/04 15:32
9F：→ spfy: 能取代GPU老黄就不会这样躺着卖了 39.10.1.171 05/04 15:33
10F：→ museangel: 看一看reddit别人的好像大概有12~16tp 101.139.36.231 05/04 16:06
11F：→ museangel: s，感觉还行 101.139.36.231 05/04 16:06
12F：推 jhjhs33504: 跑太久无法回应要想想是不是模型档案 1.162.89.91 05/04 16:16
13F：→ jhjhs33504: 有Quality问题?看是原生就有或量化後? 1.162.89.91 05/04 16:18
14F：→ jhjhs33504: 可能和指令集有关 换个格式有时天差地 1.162.89.91 05/04 16:21
15F：推 observer0117: 235b有点勉强，30b真的很快 220.132.247.29 05/04 16:30
16F：→ observer0117: 试了一下，128G不够，256可以，速度 220.132.247.29 05/04 16:36
17F：→ observer0117: 只有个位数，但勉强可用 220.132.247.29 05/04 16:36
18F：→ observer0117: 235b需要150G左右的记忆体 220.132.247.29 05/04 16:37
19F：→ observer0117: /no_think速度应该可以更快一点 220.132.247.29 05/04 16:37
20F：→ observer0117: qwen3最厉害的是可以即时切换think/ 220.132.247.29 05/04 16:38
21F：→ observer0117: no_think，很方便 220.132.247.29 05/04 16:38
22F：→ lordmi: 大概个位数tp 玩玩可以，没有任何生产性 36.229.66.96 05/05 15:38
23F：→ lordmi: 顺便一提最近应该有批40系炼丹卡要流入市 36.229.66.96 05/05 15:40
24F：→ lordmi: 面，有跑小模型的人可以买来玩玩 36.229.66.96 05/05 15:41