作者error405 (流河=L)
看板AI_Art
標題[閒聊] 內顯文書機跑本地離線文字AI(Qwen3)
時間Sat Jan 10 15:36:10 2026
啟動器 koboldcpp
https://github.com/LostRuins/koboldcpp/releases/tag/v1.105.4
模型 Qwen3-1.7B.Q4_K_M.gguf
https://huggingface.co/MaziyarPanahi/Qwen3-1.7B-GGUF/tree/main
例圖
https://i.meee.com.tw/T7cynby.png
https://i.meee.com.tw/MPXsSCP.png
https://i.meee.com.tw/oTGwJTC.png
原本想玩bitnet.cpp 幾經波折(配備/相容性)最後變成這種組合 對我來說最簡單
兩個檔案載下來就能用 跟模擬器玩遊戲差不多 打開選檔案啟動 用網頁介面聊天
速度以我的爛配置約每秒一兩字 之前還需要幾分鐘的思考時間
有使用gemini的建議更改設置參數但貌似影響不大
內容方面 預設會思考模式佔掉一部分本文 可以在對話前加/no_think關掉
寫點幻想內容還可以 歷史方面有偏差 兩種都會被前文影響 (呂布稱帝..??)
價值觀符合中國標準就沒辦法 試寫色文則保留在一般向程度 也許高手能解禁
總之大概就家戶可用小玩具 也許有天拿來寫寫RPG裡書本道具的文字 像skyrim那種
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.254.215 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1768030575.A.4B4.html
1F：→ error405: 不對 前兩張應該是qwen2.5 01/10 15:43
2F：→ error405: 一樣問qwen歌手3沒關思考模式 它還會考慮你的身分動機 01/10 15:45
3F：→ error405: *問qwen3歌手 另外幻想文差異不大 01/10 15:46
https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF/tree/main
2.5是這個 qwen2.5-1.5b-instruct-q4_k_m.ggu
※ 編輯: error405 (114.36.254.215 臺灣), 01/10/2026 15:48:18
4F：→ Supasizeit: Qwen 3很威 VL超好用 01/10 16:01
5F：→ ninggo: 小模型搭配RAG在有限範圍內會發揮的比較堪用 01/10 16:19
6F：→ error405: 完整版模型應該比我這1.7B的強多了吧 01/10 16:26
8F：推 YCL13: 我近期都是VL 30B A3B，前幾天試了NEXT 70B A3B就回不去， 01/10 18:43
9F：→ YCL13: 不過這個我用kobolod跑不動，是改用lm studio來跑 01/10 18:43
10F：→ error405: 我一開始就是試LM studio 結果CPU不相容 01/10 18:47
11F：→ error405: 試了4B版 速度剩一半 果然文書機還是勉強 01/10 19:07
12F：推 a159371153: 這個有沒有支援nsfw? 之前測試qwen3vl不支援nsfw，就 01/10 21:11
13F：→ a159371153: 放棄了 01/10 21:11
14F：→ error405: 我叫它生成精靈哥布林 但它的尺度就很一般向 01/10 21:17
15F：→ error405: 大致就手指滑過 有種奇異的感覺 不會有重點部位描寫 01/10 21:18
16F：推 YCL13: 如果要寫NSFW就算是uncensored模型也很難直接寫，還是要給 01/10 21:25
17F：→ YCL13: 適當的preset才能越獄，但小模型光是讀懂那些preset就有困 01/10 21:25
18F：→ YCL13: 難，所以我猜應該不容易有好效果 01/10 21:26
19F：推 Supasizeit: Next 70B Q4要48Gb 你怎跑 01/10 21:58
20F：推 kimwang: kobold之類的可以把一部份模型卸載到RAM裡 主機RAM夠大 01/10 22:01
21F：→ kimwang: 就可以跑 但是速度會慢很多 01/10 22:01
22F：→ kimwang: 我12GB VRAM也跑過大小18G多的31B Q4模型 01/10 22:02
23F：→ kimwang: 只是速度慢加上跟Gemini之類比智力還是差不少 01/10 22:03
24F：推 Supasizeit: 喔 那就喘了 01/10 22:04
25F：推 patvessel: next不是80b嗎... 01/10 22:08
26F：推 YCL13: 我是用雙顯卡+64RAM，可以跑Q4+32K上下文，因為A3B速度可接 01/10 22:32
27F：→ YCL13: 受，比一般的30B模型快非常多 01/10 22:32
28F：→ YCL13: 對喔，NEXT是80B模型，前面打錯成70B 01/10 22:34
29F：→ error405: 拿1.7B要它生奇幻小說人名吐一堆玄冥無極蕭瑟 01/11 10:10
30F：→ error405: 看來玄幻小說吃了不少www 01/11 10:10
31F：→ error405: 指名要西式奇幻風格後好很多 01/11 10:28