作者chann (一..一)
看板AC_In
标题Re: [洽特] RisuAI的简易上手指南
时间Wed Feb 5 15:00:51 2025
※ 引述《driftcreator (猫爹)》之铭言：
: 1. 新手安装操作
: 更新於2025/02/04
: 4. 聊天机器人 -> 模型
: API模型
: 离线运算模型(用你自己的设备跑)
: 初学者建议使用Kobold或Ollama作为後端去运行，操作相对不复杂
: 模型上huggingface去找。7B ~ 13B的模型，差不多就是多数线上AI聊天平台的水准了
: 安装细节不详述，因为你如果真的很在意隐私，我相信能自己想办法跨过这个技术槛的
--後续挑了些模型测试(我的显卡是4070TIS 16vram)--
觉得最好的是
gemma-2-27b-it-GGUF/gemma-2-27b-it-Q4_K_M.gguf
这几个有些是不给NSFW，有些会乱答。
Qwen2.5-14B-Instruct-GGUF/Qwen2.5-14B-Instruct-Q6_K.gguf
Yi-34B-Chat-GGUF/yi-34b-chat.Q4_0.gguf
LLMs/Mistral-Nemo-12B-Instruct-2407-OQ8_0.EF32.IQ8_0.gguf
Llama-3.2-3B-Instruct-Q8_0-GGUF/llama-3.2-3b-instruct-q8_0.gguf
--前文---
小小反馈一下，顺便问个问题。
我原本有用LM Studio作後端，想说直接串API进去应该也可以。
我的模型是用deepseek-r1-distill-qwen-14b-abliterated-v2-q6_k.gguf
若按照原始设定，填完API，跑对话会跳以下错误。
TypeError: Cannot read properties of undefined (reading 'data')
解决办法是要勾选聊天机器人中的"Response 即时串流传输"，即可正常。
但现在问题出在他会把整个推理过程完整描述，我尝试在LM Studio的系统提示词里，
撰写"不要给推理流程仅给我对话"，但没有任何效果。
不知道是模型的限制还是有甚麽设定我可以做尝试。
https://i.imgur.com/Wnkj5Zy.png
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.169.232.87 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AC_In/M.1738738854.A.063.html
1F：推 h0103661: deepseek r1是推理模型，用v3或是看一下api有没有开关 02/05 17:23
了解，原来是我模型挑选错误，我再尝试看看。
2F：推 guogu: 可是deepseek精随就在推理啊 没推理随便用一个就好吧 02/05 19:48
3F：推 Fizban: 推理模型都会生成思维链，Gemini也一样 02/05 20:08
4F：→ scarbywind: Janus-Pro 02/05 21:59
5F：推 Lukesky: 那有办法隐藏思考的过程 不要显示在对话上吗 02/07 21:04
※ 编辑: chann (1.169.233.114 台湾), 02/08/2025 09:37:30
6F：推 driftcreator: 看起来你都是使用官方模型，可以上huggingface找找 02/08 15:30
7F：→ driftcreator: RP向的fine tune模型表现会好很多，但多要用英文RP 02/08 15:32