作者driftcreator (猫爹)
看板AC_In
标题Re: [洽特] 有关如何自建本地AI聊天机器人
时间Thu Nov 14 12:58:43 2024
现在最强的LLM对话前端平台,应该是韩国制品RisuAI,只是在英文系的社群平台不够红
开源,使用者友善的UI介面、有Web端(可以用手机玩),功能丰富程度仅次於ST
可惜的是Mod没有,我猜都放在赞助後加入的discord上面了
https://risuai.net/
RisuAI最神的是,平台上一堆用爱发电的作者用Regex写卡片,这在其他平台非常稀少
SillyTavern也有支援Regex,但因为RisuAI是角色卡内容+资料库+语法直接绑一包
与其花时间手动移植,还不如加入RisuAI,平台上直接一键下载省事
Regex可以实现的功能像是
.直接在每次回应输出立绘卡,还能翻面看状态
https://imgur.com/a/R5CZiKR
.在底部生成一个小表格,纪录你的状态、装备
https://imgur.com/a/jTa6BF6
.能输入指令直接启用特殊事件
https://imgur.com/a/gZpXb6T
.官网例图。但我找不到实装卡片
https://imgur.com/a/FYHmQ7g
且虽然韩国使用者不少,但卡片仍用英文建构,且不少还内建多语言的初始对话
支援通用V2 png格式,所以其他平台的角色卡、资料库也能直接汇进去
---
RisuAI甚至有支援繁体中文介面,整个介面的整理上也没什麽太晦涩难懂的部分
虽然内建双向翻译功能,但机翻辞不达意很正常,网页版开沉浸式翻译相互对照比较稳
或你不嫌弃资源少更新慢,想办法去找一个繁中可以沟通顺畅的模型也可以
唯一要特别提的,是RisuAI跟SillyTavern一样,都是纯前端介面
需要搭配一个後段去执行LLM,也就是启动时系统会问你的问题。付费选择很多就先略过
免费仔如果不在意互动资料流出、变成下一代LLM的养分,内容也不担心被FBI敲门的话
.OpenRouter。提供Llama3 405B、Hermes3 405B (限制8k上下文)
.Google Gemini。1.5 fresh 1M上下文、1.5 pro 2M上下文,有流量限制
注重隐私、要离线执行的话,Ollama跟Kobold都是相对简单且速度快的後端
怎麽安装就上github学吧,虽然对没有基础知识的网友来说,相信还是会头很痛啦
若是硬核仔,直上llama.cpp就对了
---
我主要是玩RPG,所以还是选择待在SillyTavern
因为SillyTavern群组对话功能较完整。除世界资料库外,个别卡片还能读自己的资料库
Mod除了有经典的DnD骰外、还有能生成分歧选项的模组
原创RPG推荐StatuoTW的Adolion Series,这个世界观下的男女角色超过50位
https://rentry.co/statuotw#adolion-series-fantasy-adventurer-guild
生成选择分歧。懒人专用,或是觉得AI实在太好操弄、想要增加一点不确定感时推荐
https://github.com/vitorfdl/Sillytavern-CYOA
其实要自己把这些现成的Mod移植去RisuAI用应该是不会太难啦,但..就很懒
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 184.65.128.80 (加拿大)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AC_In/M.1731560328.A.E01.html
1F:推 MrJB: 感觉好难 11/14 13:02
补个Regex效果图
※ 编辑: driftcreator (184.65.128.80 加拿大), 11/14/2024 22:27:28
2F:推 Rosor: 这个有支援本地模型吗 11/14 23:20
3F:→ driftcreator: Ollama, Kobold, llama.cpp都是执行本地模型的後端 11/14 23:30
4F:→ driftcreator: 但Regex加持的增强卡片,小模型会比较容易输出跑歪 11/14 23:36
5F:推 chiekat: 各LLM对数值的追踪表现还好吗,之前在 sillytavern redd 11/15 18:11
6F:→ chiekat: it 爬文得到的回覆都不太乐观 11/15 18:11
7F:→ driftcreator: 越大越聪明的模型,越能相对有效追踪参数跟细节 11/16 00:03
8F:推 LaPass: 感谢 11/16 00:51