作者error405 (流河=L)
看板AI_Art
标题[闲聊] 内显文书机跑本地离线文字AI(Qwen3)
时间Sat Jan 10 15:36:10 2026
启动器 koboldcpp
https://github.com/LostRuins/koboldcpp/releases/tag/v1.105.4
模型 Qwen3-1.7B.Q4_K_M.gguf
https://huggingface.co/MaziyarPanahi/Qwen3-1.7B-GGUF/tree/main
例图
https://i.meee.com.tw/T7cynby.png
https://i.meee.com.tw/MPXsSCP.png
https://i.meee.com.tw/oTGwJTC.png
原本想玩bitnet.cpp 几经波折(配备/相容性)最後变成这种组合 对我来说最简单
两个档案载下来就能用 跟模拟器玩游戏差不多 打开选档案启动 用网页介面聊天
速度以我的烂配置约每秒一两字 之前还需要几分钟的思考时间
有使用gemini的建议更改设置参数但貌似影响不大
内容方面 预设会思考模式占掉一部分本文 可以在对话前加/no_think关掉
写点幻想内容还可以 历史方面有偏差 两种都会被前文影响 (吕布称帝..??)
价值观符合中国标准就没办法 试写色文则保留在一般向程度 也许高手能解禁
总之大概就家户可用小玩具 也许有天拿来写写RPG里书本道具的文字 像skyrim那种
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.36.254.215 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1768030575.A.4B4.html
1F：→ error405: 不对 前两张应该是qwen2.5 01/10 15:43
2F：→ error405: 一样问qwen歌手3没关思考模式 它还会考虑你的身分动机 01/10 15:45
3F：→ error405: *问qwen3歌手 另外幻想文差异不大 01/10 15:46
https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF/tree/main
2.5是这个 qwen2.5-1.5b-instruct-q4_k_m.ggu
※ 编辑: error405 (114.36.254.215 台湾), 01/10/2026 15:48:18
4F：→ Supasizeit: Qwen 3很威 VL超好用 01/10 16:01
5F：→ ninggo: 小模型搭配RAG在有限范围内会发挥的比较堪用 01/10 16:19
6F：→ error405: 完整版模型应该比我这1.7B的强多了吧 01/10 16:26
8F：推 YCL13: 我近期都是VL 30B A3B，前几天试了NEXT 70B A3B就回不去， 01/10 18:43
9F：→ YCL13: 不过这个我用kobolod跑不动，是改用lm studio来跑 01/10 18:43
10F：→ error405: 我一开始就是试LM studio 结果CPU不相容 01/10 18:47
11F：→ error405: 试了4B版 速度剩一半 果然文书机还是勉强 01/10 19:07
12F：推 a159371153: 这个有没有支援nsfw? 之前测试qwen3vl不支援nsfw，就 01/10 21:11
13F：→ a159371153: 放弃了 01/10 21:11
14F：→ error405: 我叫它生成精灵哥布林 但它的尺度就很一般向 01/10 21:17
15F：→ error405: 大致就手指滑过 有种奇异的感觉 不会有重点部位描写 01/10 21:18
16F：推 YCL13: 如果要写NSFW就算是uncensored模型也很难直接写，还是要给 01/10 21:25
17F：→ YCL13: 适当的preset才能越狱，但小模型光是读懂那些preset就有困 01/10 21:25
18F：→ YCL13: 难，所以我猜应该不容易有好效果 01/10 21:26
19F：推 Supasizeit: Next 70B Q4要48Gb 你怎跑 01/10 21:58
20F：推 kimwang: kobold之类的可以把一部份模型卸载到RAM里 主机RAM够大 01/10 22:01
21F：→ kimwang: 就可以跑 但是速度会慢很多 01/10 22:01
22F：→ kimwang: 我12GB VRAM也跑过大小18G多的31B Q4模型 01/10 22:02
23F：→ kimwang: 只是速度慢加上跟Gemini之类比智力还是差不少 01/10 22:03
24F：推 Supasizeit: 喔 那就喘了 01/10 22:04
25F：推 patvessel: next不是80b吗... 01/10 22:08
26F：推 YCL13: 我是用双显卡+64RAM，可以跑Q4+32K上下文，因为A3B速度可接 01/10 22:32
27F：→ YCL13: 受，比一般的30B模型快非常多 01/10 22:32
28F：→ YCL13: 对喔，NEXT是80B模型，前面打错成70B 01/10 22:34
29F：→ error405: 拿1.7B要它生奇幻小说人名吐一堆玄冥无极萧瑟 01/11 10:10
30F：→ error405: 看来玄幻小说吃了不少www 01/11 10:10
31F：→ error405: 指名要西式奇幻风格後好很多 01/11 10:28