作者bhmagic (BH)
看板PC_Shopping
标题Re: [菜单] 80K 超轻度AI+游戏机 -本地布署LLM的需求
时间Wed Aug 5 18:43:43 2026
※ 引述《lordmi (星宿喵)》之铭言：
: 最近看很多人想玩本地LLM，稍微聊一下10万预算显卡怎麽组比较好
: 前提条件先设在部署 FP8 格式、体积较大的 27B 级稠密模型。基本上真要有
: 生产力的模型都大於这个起跑线，低於这个规模先不谈。
十万玩LLM 答案很明显就只有统一记忆体架构阿..
128GB 统一记忆体架构的miniPC 现在大概就是十万多
FP8 > Vulcan api> llama cpp 直接可以硬干200B左右的模型 虽然速度大概会想睡觉
但是这个范围有新千问这种密度超高的好模型 高智商的
真的DIY灵魂爆发 爆改一下散热
(虽然大部分瓦数被锁死根本拉不上去 但是可以变安静一点 还是有点乐趣的)
这都是今年LLM的标准答案了 可是这个版很少人玩 可以参考一下
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 99.118.209.229 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1785926625.A.D46.html
1F：推 kira925: 现在好像还没有Strix Halo + dGPU的方案 57.140.96.59 08/05 18:59
2F：→ scarbywind: 因为你也打不出商品名 114.46.105.184 08/05 19:25
3F：→ scarbywind: 目前大概只有苹果跟对岸 114.46.105.184 08/05 19:25
4F：→ scarbywind: 还有NV出的DGX 114.46.105.184 08/05 19:26
5F：→ bhmagic: 对 没打出商品名就是因为大部分要美亚 99.118.209.229 08/05 19:28
6F：→ bhmagic: 对岸那边的我不清楚 我主要看北美 99.118.209.229 08/05 19:29
7F：→ bhmagic: 如果要现在买上一代的 可以看GMKTEC 99.118.209.229 08/05 19:37
8F：→ bhmagic: 或者framework desktop 99.118.209.229 08/05 19:37
9F：→ bhmagic: Al Max+ 395 系列的 99.118.209.229 08/05 19:38
10F：推 cannedtuna: 华硕z13也是395+128g 十万内还送萤幕 1.168.226.216 08/05 20:05
11F：→ bhmagic: 那台有个小岛秀夫联名 差点没忍住 冷汗 99.118.209.229 08/05 20:10
12F：推 s78513221: DGX我觉得可惜在消费级玩法生态吧 114.136.162.8 08/05 20:24
13F：→ seemoon2000: DGX重点是可以NVLink 82.140.187.28 08/05 20:58
14F：推 visa829: 要Strix Halo + dGPU的可以找对岸oculink 220.134.116.61 08/05 21:47
15F：→ visa829: 方案看看 220.134.116.61 08/05 21:47
16F：→ iceyang: 这种10w+机器台湾难找 启动怕出保麻烦 61.224.130.116 08/05 22:33
17F：→ iceyang: 海鲜卖的基本也都是从对岸淘来的 价格先 61.224.130.116 08/05 22:35
18F：→ iceyang: 多两成 保不保固还很难说 61.224.130.116 08/05 22:35
19F：→ spfy: Z13 128G 之前一直卡在95K 没继续涨也还有 223.140.138.71 08/06 07:42
20F：→ spfy: 货 很神奇 当初是怕体积太小+液金长期会有 223.140.138.71 08/06 07:42
21F：→ spfy: 问题所以没买 现在看是没了 223.140.138.71 08/06 07:42
22F：→ slein: DGX要搭配什麽model比较能有真正生产力？ 42.79.38.123 08/06 09:22
23F：推 cannedtuna: Ornith蛮好用的 1.168.221.188 08/06 09:47
24F：推 GenShoku: 单台dgx spark其实有点尴尬，这个阶段最 114.137.85.202 08/06 10:22
25F：→ GenShoku: 强的model是qwen3.6 27b的Q8量化(以及各 114.137.85.202 08/06 10:22
26F：→ GenShoku: 种魔改版)，还有下周要开源的3.8 27b， 114.137.85.202 08/06 10:22
27F：→ GenShoku: 但dgx spark本身因为记忆体带宽限制超不 114.137.85.202 08/06 10:22
28F：→ GenShoku: 适合跑dense模型，速度极慢(20tok/s左右 114.137.85.202 08/06 10:22
29F：→ GenShoku: )，再次就是35B a3b，这颗跑得很舒服， 114.137.85.202 08/06 10:22
30F：→ GenShoku: 但稳定度没27b高，而且也不需要dgx spar 114.137.85.202 08/06 10:22
31F：→ GenShoku: k来跑，如果要大知识量的chatbot话也能 114.137.85.202 08/06 10:22
32F：→ GenShoku: 玩玩deepseek v4 flash 0731 Q2量化，但 114.137.85.202 08/06 10:22
33F：→ GenShoku: Q2量化你就别指望他能干什麽正经活了 114.137.85.202 08/06 10:22
34F：→ GenShoku: 目前本地最强解是双dgx spark或mac stud 114.137.85.202 08/06 10:25
35F：→ GenShoku: io 256G，直接装DSv4flash，除了没多模 114.137.85.202 08/06 10:25
36F：→ GenShoku: 态外几乎可以说是完美解 114.137.85.202 08/06 10:25
37F：推 dsin: 但mac 256G现在已经没有新货 不知要等多久 123.193.199.28 08/06 11:07
38F：推 moonkuma: 如果不是公司或私人开发还有生产瑟瑟的 223.139.246.40 08/06 11:19
39F：→ moonkuma: 东西，这种统一模型的机子定位很尴尬， 223.139.246.40 08/06 11:19
40F：→ moonkuma: 除了已经炒到天价跟线上模型比，线上比 223.139.246.40 08/06 11:19
41F：→ moonkuma: 他快比他聪明，就算用几年的api费用还比 223.139.246.40 08/06 11:19
42F：→ moonkuma: 买他花费少多了 223.139.246.40 08/06 11:19
43F：推 GenShoku: 但就是因为有破甲跟资料私有化需求，本 114.137.85.202 08/06 11:24
44F：→ GenShoku: 地模型才一直有人宁可花数十倍百倍的金 114.137.85.202 08/06 11:24
45F：→ GenShoku: 额在玩啊 114.137.85.202 08/06 11:24
46F：推 GenShoku: 还有稳定性，不会新模型出来给你爽一个 114.137.85.202 08/06 11:26
47F：→ GenShoku: 礼拜後就直接降智到下次新模型发布 114.137.85.202 08/06 11:26
48F：→ slein: 稳定性是我考虑使用本地LLM的主要考量，要 42.79.38.123 08/06 11:35
49F：→ slein: 能稳定产出结果才能让优化流程得以发挥 42.79.38.123 08/06 11:35
50F：推 takanasiyaya: 因为显卡可以跑的27B31B一直有更新 101.10.108.162 08/06 11:52
51F：→ takanasiyaya: 进步，128B级别的反而没在进步，而 101.10.108.162 08/06 11:52
52F：→ takanasiyaya: 往上比1750B那种只能专业机架跑的又 101.10.108.162 08/06 11:52
53F：→ takanasiyaya: 差太多 101.10.108.162 08/06 11:52
54F：推 GenShoku: 突然想到还有step 3.7 flash这颗，可以 114.137.85.202 08/06 12:04
55F：→ GenShoku: 跑Q4低上下文或Q3高上下文 114.137.85.202 08/06 12:04
56F：→ labbat: 不喜欢spark 的散热机构 迷你主机应该像 180.177.202.30 08/06 12:14
57F：→ labbat: 长型铭凡g7或极摩客x3的大风扇比较耐用 180.177.202.30 08/06 12:14
58F：→ labbat: 小方盒解热能力有限，效能无法拉高 180.177.202.30 08/06 12:14
59F：推 skywgu: 花10万去opencode go接DSv4flash的api回 101.12.148.162 08/08 18:48
60F：→ skywgu: 来玩可以玩好几年吧… 101.12.148.162 08/08 18:48
61F：→ skywgu: 我5090也就专心在Comfyui 干活而已 101.12.148.162 08/08 18:48
62F：→ skywgu: 其它养虾养马的事直接线上解决，又快又舒 101.12.148.162 08/08 18:48
63F：→ skywgu: 服 101.12.148.162 08/08 18:48
64F：→ skywgu: 另外OpenAI 也推出5.6 luna 不限次数文字 101.12.148.162 08/08 18:48
65F：→ skywgu: 聊天… 101.12.148.162 08/08 18:48
66F：→ skywgu: 没有隐私需求真的不必要搞10万来跑llm … 101.12.148.162 08/08 18:48