作者bhmagic (BH)
看板PC_Shopping
標題Re: [菜單] 80K 超輕度AI+遊戲機 -本地佈署LLM的需求
時間Wed Aug 5 18:43:43 2026
※ 引述《lordmi (星宿喵)》之銘言：
: 最近看很多人想玩本地LLM，稍微聊一下10萬預算顯卡怎麼組比較好
: 前提條件先設在部署 FP8 格式、體積較大的 27B 級稠密模型。基本上真要有
: 生產力的模型都大於這個起跑線，低於這個規模先不談。
十萬玩LLM 答案很明顯就只有統一記憶體架構阿..
128GB 統一記憶體架構的miniPC 現在大概就是十萬多
FP8 > Vulcan api> llama cpp 直接可以硬幹200B左右的模型 雖然速度大概會想睡覺
但是這個範圍有新千問這種密度超高的好模型 高智商的
真的DIY靈魂爆發 爆改一下散熱
(雖然大部分瓦數被鎖死根本拉不上去 但是可以變安靜一點 還是有點樂趣的)
這都是今年LLM的標準答案了 可是這個版很少人玩 可以參考一下
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.118.209.229 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1785926625.A.D46.html
1F：推 kira925: 現在好像還沒有Strix Halo + dGPU的方案 57.140.96.59 08/05 18:59
2F：→ scarbywind: 因為你也打不出商品名 114.46.105.184 08/05 19:25
3F：→ scarbywind: 目前大概只有蘋果跟對岸 114.46.105.184 08/05 19:25
4F：→ scarbywind: 還有NV出的DGX 114.46.105.184 08/05 19:26
5F：→ bhmagic: 對 沒打出商品名就是因為大部分要美亞 99.118.209.229 08/05 19:28
6F：→ bhmagic: 對岸那邊的我不清楚 我主要看北美 99.118.209.229 08/05 19:29
7F：→ bhmagic: 如果要現在買上一代的 可以看GMKTEC 99.118.209.229 08/05 19:37
8F：→ bhmagic: 或者framework desktop 99.118.209.229 08/05 19:37
9F：→ bhmagic: Al Max+ 395 系列的 99.118.209.229 08/05 19:38
10F：推 cannedtuna: 華碩z13也是395+128g 十萬內還送螢幕 1.168.226.216 08/05 20:05
11F：→ bhmagic: 那台有個小島秀夫聯名 差點沒忍住 冷汗 99.118.209.229 08/05 20:10
12F：推 s78513221: DGX我覺得可惜在消費級玩法生態吧 114.136.162.8 08/05 20:24
13F：→ seemoon2000: DGX重點是可以NVLink 82.140.187.28 08/05 20:58
14F：推 visa829: 要Strix Halo + dGPU的可以找對岸oculink 220.134.116.61 08/05 21:47
15F：→ visa829: 方案看看 220.134.116.61 08/05 21:47
16F：→ iceyang: 這種10w+機器台灣難找 啟動怕出保麻煩 61.224.130.116 08/05 22:33
17F：→ iceyang: 海鮮賣的基本也都是從對岸淘來的 價格先 61.224.130.116 08/05 22:35
18F：→ iceyang: 多兩成 保不保固還很難說 61.224.130.116 08/05 22:35
19F：→ spfy: Z13 128G 之前一直卡在95K 沒繼續漲也還有 223.140.138.71 08/06 07:42
20F：→ spfy: 貨 很神奇 當初是怕體積太小+液金長期會有 223.140.138.71 08/06 07:42
21F：→ spfy: 問題所以沒買 現在看是沒了 223.140.138.71 08/06 07:42
22F：→ slein: DGX要搭配什麼model比較能有真正生產力？ 42.79.38.123 08/06 09:22
23F：推 cannedtuna: Ornith蠻好用的 1.168.221.188 08/06 09:47
24F：推 GenShoku: 單台dgx spark其實有點尷尬，這個階段最 114.137.85.202 08/06 10:22
25F：→ GenShoku: 強的model是qwen3.6 27b的Q8量化(以及各 114.137.85.202 08/06 10:22
26F：→ GenShoku: 種魔改版)，還有下週要開源的3.8 27b， 114.137.85.202 08/06 10:22
27F：→ GenShoku: 但dgx spark本身因為記憶體帶寬限制超不 114.137.85.202 08/06 10:22
28F：→ GenShoku: 適合跑dense模型，速度極慢(20tok/s左右 114.137.85.202 08/06 10:22
29F：→ GenShoku: )，再次就是35B a3b，這顆跑得很舒服， 114.137.85.202 08/06 10:22
30F：→ GenShoku: 但穩定度沒27b高，而且也不需要dgx spar 114.137.85.202 08/06 10:22
31F：→ GenShoku: k來跑，如果要大知識量的chatbot話也能 114.137.85.202 08/06 10:22
32F：→ GenShoku: 玩玩deepseek v4 flash 0731 Q2量化，但 114.137.85.202 08/06 10:22
33F：→ GenShoku: Q2量化你就別指望他能幹什麼正經活了 114.137.85.202 08/06 10:22
34F：→ GenShoku: 目前本地最強解是雙dgx spark或mac stud 114.137.85.202 08/06 10:25
35F：→ GenShoku: io 256G，直接裝DSv4flash，除了沒多模 114.137.85.202 08/06 10:25
36F：→ GenShoku: 態外幾乎可以說是完美解 114.137.85.202 08/06 10:25
37F：推 dsin: 但mac 256G現在已經沒有新貨 不知要等多久 123.193.199.28 08/06 11:07
38F：推 moonkuma: 如果不是公司或私人開發還有生產瑟瑟的 223.139.246.40 08/06 11:19
39F：→ moonkuma: 東西，這種統一模型的機子定位很尷尬， 223.139.246.40 08/06 11:19
40F：→ moonkuma: 除了已經炒到天價跟線上模型比，線上比 223.139.246.40 08/06 11:19
41F：→ moonkuma: 他快比他聰明，就算用幾年的api費用還比 223.139.246.40 08/06 11:19
42F：→ moonkuma: 買他花費少多了 223.139.246.40 08/06 11:19