自从Meta发表LLaMA大型语言模型以来，便陆续出现了许多以其为基础的语言模型，并有许 多程式出现，为本机自架ChatGPT铺路。 自架(self-host)的好处自不用说，最主要是能保护隐私，不依赖第三方服务这样。如果 硬体足够强大，你也可以让语言模型与生图模型等其他AI工具合力工作。 本文试图总结一些目前自架的方案。 目前有哪些开源模型可用？ 主流的有这三个，名字都跟羊驼有关： LLaMA：Meta最初释出的模型，用於研究用途，需要填表索取，但你知道的好康东西一但 在网上泄漏基本上就无法收回了，下面介绍的前端软体都会帮你准备好载点。 可以确定的是此模型不能商用，个人使用无妨。 Alpaca：Stanford针对对话微调过的LLaMA Vicuna：训练的时候以GPT-4当裁判，宣称性能超越前二者 还有GPT4All、ChatGLM，以及各种融合LLaMA的模型，每天在Reddit r/LocalLLaMA板都能 看到新的模型出现。 尽管这些模型只有ChatGLM是原生支援中文对答的，但在玩LLaMA之类的英文模型还是可以 透过promp指示AI，强迫AI以中文作答。LLaMA系列的模型都支援文本翻译。 模型後面数字的意义是？ 7B、13B、30B、65B、是代表训练参数的数量，理论上越大AI会越聪明，可是硬体资源会 吃更凶。 LLaMA并无超越ChatGPT，更别说GPT-4了。 Meta的论文宣称「我们的模型不需要GPT3那麽多的训练资料，也能达到不错效果」 适合一般人电脑使用的为13B模型，它需要12GB的RAM，就算以CPU硬算，速度和回答品质 也还能接受。13B应该视为起跑点，训练资料在那之下的模型回答品质...很差，例如 Pygmalion6B这种的只在特定用途有用。 跑大型语言模型的硬体需求？ 硬碟空间自不用说，模型档案最小都有4GB，所以最好准备20GB以上的SSD存放模型。 跑大型语言模型可以分为CPU与GPU模式。 AI的东西用CPU算通常是处於劣势，但还是有人做出来了。 CPU模式依赖llama.cpp这个技术，以CPU下去算虽然可能只有GPU的十分之一效能， 例如Vicuna13B以CPU生成回答至少要等30秒，context越长等越久。 但是硬体需求就降低了许多。使用CPU运算的情况下只要有Intel i5 7代的CPU + 16GB以上 RAM即可跑13B的大型语言模型，不用显示卡。 另一方面，用GPU跑是更好的选择，13B的模型在4bit模式最低只需要10GB的VRAM，也就是 Nvidia RTX3060以上的GPU。用GPU跑的模式下，生成回答的速度会大为提昇。 不过，考虑到未来AI的发展，直接买RTX4090是最无脑的选择。因为语言模型不像AI绘图 一样可以慢慢等生成，若要达成ChatGPT的无缝对话使用体验，硬体一定要先准备好。 要使用哪个软体跑大型语言模型？ 就像Stable Diffusion有WebUI一样，你不能期望每个人都用终端机跟语言模型讲话吧？ 所以陆续有人开发LLaMA的前端程式。 nsarrazin开发的Serge：这个软体以Docker安装，开箱即用，下载模型与聊天都在网页界 面完成。只支援CPU模式。 https://i.imgur.com/QHHqRBH.png cocktailpeanut开发的Dalai：以NPX安装，类似Serge，只支援CPU模式。 https://i.imgur.com/GMhfoME.png oobabooga开发的Text Generation WebUI：功能复杂，bug也很多。扩充性高，可以跟AI玩 角色扮演，或是呼叫Stable Diffusion WebUI生图。 支援CPU与GPU模式运算。 可用的模型除了LLaMA系列外，还支援LLaMA以前的模型，如Pygmalion6B、GPT4Chan。 要使用哪个软体跑大型语言模型？ 就像Stable Diffusion有WebUI一样，你不能期望每个人都用终端机跟语言模型讲话吧？ 所以陆续有人开发LLaMA的前端程式。 nsarrazin开发的Serge：这个软体以Docker安装，开箱即用，下载模型与聊天都在网页界 面完成。只支援CPU模式。 https://i.imgur.com/QHHqRBH.png cocktailpeanut开发的Dalai：以NPX安装，类似Serge，只支援CPU模式。 https://i.imgur.com/GMhfoME.png oobabooga开发的Text Generation WebUI：功能复杂，bug也很多。扩充性高，可以跟AI玩 角色扮演，或是呼叫Stable Diffusion WebUI生图。 支援CPU与GPU模式运算。 可用的模型除了LLaMA系列外，还支援LLaMA以前的模型，如Pygmalion6B、GPT4Chan。 https://i.imgur.com/sVGkSuI.png 除此之外，释出模型的研究机构多半也会提供demo程式，不过要找通吃各种语言模型的 软体就以上三个。 由於这些软体都是以网页界面提供，在主机安装後，只要设定路由器，或是使用虚拟区网 软体(ZeroTier、TailScale)即可随时用手边的浏览器与AI对话。 -- 想办法在开源系统跑闭源游戏 https://i.imgur.com/FUrYLxA.png Arch是真爱 https://i.imgur.com/0ja0Tx8.png 论使用Gentoo的好处 https://i.imgur.com/QjvfLfR.png 是言论自由，不是免费啤酒 https://i.imgur.com/sNmNm9x.png 流量密码 https://i.imgur.com/rXERMcM.png 删除user? 我不记得有这功能 https://i.imgur.com/xcml0xN.png --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.40.25.38 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1683110407.A.784.html ※ 编辑: ivon852 (114.40.25.38 台湾), 05/03/2023 18:41:38 就扩充功能装一装。电脑同时跑这二个服务需要很强的硬体。 总要等它稳定一点才能分享安装流程。这些软体初期都有巨量bug，很多甚至到现在连一键 安装器都没有。 ※ 编辑: ivon852 (111.71.221.186 台湾), 05/11/2023 20:06:53