作者lordmi (星宿喵)
看板PC_Shopping
标题Re: [菜单] 80K 超轻度AI+游戏机 -本地布署LLM的需求
时间Wed Aug 5 17:57:21 2026
※ 引述《doasgloria (青柳立夏)》之铭言：
: 已买/未买/已付订金（元）： 未买(预计在日本购买)
: 预算/用途：80K (约40万日币)
: 主要希望可以跑一些极轻度LLM LORA练习(3B 7B量化模型)
最近看很多人想玩本地LLM，稍微聊一下10万预算显卡怎麽组比较好
前提条件先设在部署 FP8 格式、体积较大的 27B 级稠密模型。基本上真要有
生产力的模型都大於这个起跑线，低於这个规模先不谈。
无脑买5090一张就超过10万了，然後也不能放进去，得买两张
如果是搞色图或色影，那还是NVIDIA 吧
便宜的绿厂垃圾佬方案是3080魔改套4090散热器两张共40GB，目前中国价格含券似乎
在3500一张上下。不过只保一年而且是中国国内
如果限定到台湾，可买到新品是：
比较正常(?)的方案，四张单槽 RTX5060Ti/16GB。中国那边有人测试
四卡系统待机功耗低於 100W，满载低於 600W；满载时风扇约 40%～50%，GPU
温度不到60C。
如果你是红厂信徒，只想战未来。替代方案：两张 AMD R9700 32GB，合计64GB。
双卡成本约10万元。与4张16GB相比，双卡架构在物理安装、供电、线材、故障点
与系统管理方面都更简单
如果不重视CUDA生态对作图作影片的优势，R9700处理事务跟Coding还是可取的。
大概就是这样，反正你不买我不买明天贵5000，要用就买吧
--
弟子｢先生、処女を贵重だと思う男は多いです?」 孔明「
..その通りだ ｣
弟子｢しかし逆に童贞は女に気持ち悪がられます? ｣孔明「
....确かに ｣
弟子｢おかしいじゃないですか、何故このような意识の违いが生まれるのですか ｣
孔明｢
それは一度も侵入を许していない砦は頼もしく
一度も侵入に成功しない兵士は頼りないからだ! ｣
原出：「孔明の罠だ！」(民明书房新刊)
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.229.90.181 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1785923845.A.C8C.html
1F：推 kcy05785: 更低买中国2080ti魔改2张22k搞定 114.34.209.162 08/05 18:05
2F：→ kcy05785: 剩下就这样板子要能拆成X8+X8的 114.34.209.162 08/05 18:05
3F：→ kcy05785: 我弄一弄整机不到50k 114.34.209.162 08/05 18:06
4F：推 seemoon2000: 中国他们网友都说店保=不保=送张哥 45.144.227.57 08/05 18:11
5F：推 pphyy5844548: 2张5080不知道可不可行，跑Qwen 3 39.10.48.1 08/05 18:17
6F：→ pphyy5844548: .5 27B 39.10.48.1 08/05 18:17
7F：→ pphyy5844548: 我主机板最多装两张，再上去就不知 39.10.48.1 08/05 18:18
8F：→ pphyy5844548: 道怎麽装了@@ 39.10.48.1 08/05 18:18
9F：推 cercloud: 蓝厂的B70有未来可以战吗 49.217.129.222 08/05 18:18
10F：推 kcy05785: 2张5080大概是2张2080ti魔改的5-6倍价 114.34.209.162 08/05 18:20
11F：→ kcy05785: 2张2080ti足够跑27B的模型了 114.34.209.162 08/05 18:20
12F：推 GenShoku: 目前最便宜的方案就双3090共48G 可以认 123.192.94.227 08/05 18:20
13F：→ GenShoku: 真开始跑些有用的东西 再上去就是看dgx 123.192.94.227 08/05 18:20
14F：→ GenShoku: spark跟mac了 123.192.94.227 08/05 18:20
15F：→ kcy05785: 3090的价格炒到1张30k以上，还不保证 114.34.209.162 08/05 18:21
16F：→ kcy05785: 是不是矿卡。 114.34.209.162 08/05 18:21
17F：→ kcy05785: 要不然20k出头的3080是真的可以 114.34.209.162 08/05 18:22
18F：推 kcy05785: 讲错3090 114.34.209.162 08/05 18:25
19F：推 deolinwind: b70看起来便宜，但滞销代表还是贵 118.233.161.3 08/05 18:27
20F：推 eddy13: 一般个人本地跑会选FP8的应该算少数吧， 114.137.19.103 08/05 18:32
21F：→ eddy13: 选GGUF的Q4等级的应该比较多 114.137.19.103 08/05 18:32
22F：推 moonkuma: 3080 20g*2也不错 40gb能跑的东西也不少 49.158.135.118 08/05 18:44
23F：推 seemoon2000: 32G级别的就是看27b 35b这次qwen3.8223.137.118.232 08/05 18:53
24F：→ seemoon2000: Q4量化"目前"的模型都是会大幅弱化223.137.118.232 08/05 18:54
25F：→ seemoon2000: tool calling的能力 但这块刚好是本223.137.118.232 08/05 18:54
26F：→ seemoon2000: 地化AI最重要的技能 反而不是知识和223.137.118.232 08/05 18:54
27F：→ seemoon2000: 长链推理223.137.118.232 08/05 18:54
28F：推 GenShoku: Q4量化tool calling能力是一坨，至少Q6 123.192.94.227 08/05 20:41
29F：→ GenShoku: 才勉强能用，Q8才能真正发挥9成5实力 123.192.94.227 08/05 20:41
30F：推 ck203l5: 可以改用混合架构? 像LM Studio新推出 65.211.18.190 08/05 21:34
31F：→ ck203l5: 的Bionic软体搭配Q4的模型，呼叫工具 65.211.18.190 08/05 21:34
32F：→ ck203l5: 这种工作给Bionic透过Python去做即可 65.211.18.190 08/05 21:34
33F：→ ck203l5: 至少这边看它做Word Excel PDF这种文件 65.211.18.190 08/05 21:36
34F：→ ck203l5: 读取+思考分析+产制文档结果还不算太差 65.211.18.190 08/05 21:36
35F：推 visa829: Dense模型像Qwen 27B对Q4量化没那麽敏感 220.134.116.61 08/05 21:38
36F：→ visa829: 真的有余裕才往上看Q5 Q6 Q8可是VRAM高很 220.134.116.61 08/05 21:39
37F：→ visa829: 多。MoE模型像Qwen 35B-A3B用张6GB以上 220.134.116.61 08/05 21:40
38F：推 sdbb: 谢谢 112.104.65.143 08/05 21:41
39F：→ visa829: 的显卡都能跑到1x tg/s了，单张卡塞不进 220.134.116.61 08/05 21:41
40F：→ visa829: 27B的就35B-A3B或是Gemma4 12B/MoE玩玩就 220.134.116.61 08/05 21:42
41F：→ visa829: 好。不过MoE据社群说对量化程度比较敏感 220.134.116.61 08/05 21:43
42F：→ visa829: RAM大一点，把VRAM塞不下的用--n-cpu-moe 220.134.116.61 08/05 21:44
43F：→ visa829: 往RAM丢就好了，跑Q6 Q8都有可能，pp tg 220.134.116.61 08/05 21:44
44F：推 seemoon2000: MoE在APEX量化 工具调用下滑比较少 82.140.187.28 08/05 21:44
45F：→ visa829: 也不会太差 220.134.116.61 08/05 21:45
46F：→ ganei: 其实色图跟色影有板上的CUI大礼包在罩，用A118.165.155.217 08/05 21:48
47F：→ ganei: MD反而俗又大碗，真的要跑LLM刷CODE写作业118.165.155.217 08/05 21:48
48F：→ ganei: ，那还得推荐NV才行(16GB起跳)，苏妈要扳回118.165.155.217 08/05 21:48
49F：→ ganei: 一城等下一代看有没有机会。118.165.155.217 08/05 21:48
50F：推 ganei: 另外塞的资料如果没有很肥，也能接受慢一截118.165.155.217 08/05 21:54
51F：→ ganei: 的prefill速度(提示词输入後要等一下才反应118.165.155.217 08/05 21:54
52F：→ ganei: )，MoE可以帮忙省不少VRAM，118.165.155.217 08/05 21:54
53F：→ ganei: 只要VRAM比换算完大小的AxxB大(但是MB RAM118.165.155.217 08/05 21:54
54F：→ ganei: 要够大，塞剩下的模型)，调整一下允许的上118.165.155.217 08/05 21:54
55F：→ ganei: 下文长度後大多有 约10~2x T/S 的回应速度118.165.155.217 08/05 21:54
56F：→ ganei: ，以个人小玩的程度来说堪用了118.165.155.217 08/05 21:54
57F：推 nippleman: 本地模型的话会建议直接蹲RTX Sparka吗 61.70.104.17 08/05 22:48
58F：推 ck203l5: 之前7/24发的文用2张9060XT-16G跑27B 65.211.18.190 08/05 23:00
59F：→ ck203l5: Dense模型，上下文开到128K，效能最差 65.211.18.190 08/05 23:00
60F：→ ck203l5: 的Ollama是13t/s，换LM Studio大概有 65.211.18.190 08/05 23:00
61F：→ ck203l5: 14~15t/s，作为AI文书助手来说尚可用 65.211.18.190 08/05 23:00
62F：→ ck203l5: 未来AMD卡能稳用Tensor Parallelism 65.211.18.190 08/05 23:00
63F：→ ck203l5: 的话应该会更快。 65.211.18.190 08/05 23:00
64F：推 seemoon2000: RTXspark 128G应该就是稳破20万了 45.144.227.42 08/05 23:39
65F：推 tazi: 那麽哪里买得到呢T_T。只能租云端? 114.26.178.182 08/06 00:06