作者iammatrix (母體)
看板PC_Shopping
標題Re: [菜單] 10K以內AI機
時間Sun Jul 20 10:28:08 2025
※ 引述《museangel (敲敲)》之銘言：
: https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with
: _qwen3_so_far/
: 我看到reddit的上面這篇文，想借這串原文問個問題，
: 這幾天開源的llm qwen3-235b-a22b，
: 是不是真的也可以靠cpu跟128gb的ram跑起來，而且速度不算慢、效果也還不錯了？
: 一般這種上百b等級的llm，用一般消費級gpu就算5090也裝不下。如果用cpu跟ram，成本倒
: 是可以壓低得多，而且還有比較大的沿用性，不會像gpu每兩年換代折舊不少。
: 我平常只用gpu跑，沒試過cpu+ram，有沒有前輩有相關經驗，文章裡說到的這種cpu+ram的
: 跑法有沒有什麼地雷？
https://www.youtube.com/watch?v=1N6a46QqdhI
斯波圖最新影片有測試過了，用的是AMD AI MAX+ 395 的小型桌面機
相當的不錯，等於是建構了一個本地AI，有著無限TOKEN。
他把QWEN3的80G模型直接丟給主機的NPU+RAM去跑 全本地的運算
也不影響日常的工作，還能夠分派多重腳色給AI去幫忙執行計畫
https://www.gmktec.cn/product/5656/
最高可以運算96G的模型，主機最高125G 有著約90%左右的9950X性能
價格就超出預算，14999RMB，包含128G+2T SSD，比一張5090便宜就是。
https://www.youtube.com/watch?v=-1kuUqp1X2I
其他也有類似的產品 這台便宜些。
感覺工作上有大量需求+建構本地AI 需要隱私不連網的
這個應該是目前不買老黃顯卡的最優解了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.35.19 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PC_Shopping/M.1752978492.A.D95.html
1F：推 kuninaka: 14999還好，這是整台主機的價格 XD 1.173.191.153 07/20 11:04
2F：推 lordmi: 395發售之後這種設計很多，可以多比價。223.137.179.247 07/20 11:15
3F：→ lordmi: 前面有一篇半DIY花費就壓在12k rmb。不過223.137.179.247 07/20 11:15
4F：→ lordmi: 老實說，395套裝適合玩玩或者學校採購，223.137.179.247 07/20 11:15
5F：→ lordmi: 到商用場景還是不上不下有很多限制223.137.179.247 07/20 11:15
6F：推 kuninaka: 要商用當然很難XD 1.173.191.153 07/20 11:23
7F：推 kime5412: 不是「80G」模型，是「80億（8b)」，但223.138.201.224 07/20 11:49
8F：→ kime5412: 是說真的8b模型拿來聊天、總結文章還算223.138.201.224 07/20 11:49
9F：→ kime5412: 堪用，真的不能期待更多了223.138.201.224 07/20 11:49
10F：→ iammatrix: 不是8B吧? 8B還吃不到20GB 118.171.35.19 07/20 12:04
11F：推 Supasizeit: 無限token 是三小203.204.195.174 07/20 13:28
12F：→ cutejojocat: 可惜就是大廠只有出筆電型態的 36.229.231.225 07/21 00:40