作者ivon852 (內容農場殺手)
看板AI_Art
標題[閒聊] 本機跑大型語言模型的幾個前端軟體
時間Wed May 3 18:40:01 2023
自從Meta發表LLaMA大型語言模型以來,便陸續出現了許多以其為基礎的語言模型,並有許
多程式出現,為本機自架ChatGPT鋪路。
自架(self-host)的好處自不用說,最主要是能保護隱私,不依賴第三方服務這樣。如果
硬體足夠強大,你也可以讓語言模型與生圖模型等其他AI工具合力工作。
本文試圖總結一些目前自架的方案。
目前有哪些開源模型可用?
主流的有這三個,名字都跟羊駝有關:
LLaMA:Meta最初釋出的模型,用於研究用途,需要填表索取,但你知道的好康東西一但
在網上洩漏基本上就無法收回了,下面介紹的前端軟體都會幫你準備好載點。
可以確定的是此模型不能商用,個人使用無妨。
Alpaca:Stanford針對對話微調過的LLaMA
Vicuna:訓練的時候以GPT-4當裁判,宣稱性能超越前二者
還有GPT4All、ChatGLM,以及各種融合LLaMA的模型,每天在Reddit r/LocalLLaMA板都能
看到新的模型出現。
儘管這些模型只有ChatGLM是原生支援中文對答的,但在玩LLaMA之類的英文模型還是可以
透過promp指示AI,強迫AI以中文作答。LLaMA系列的模型都支援文本翻譯。
模型後面數字的意義是?
7B、13B、30B、65B、是代表訓練參數的數量,理論上越大AI會越聰明,可是硬體資源會
吃更兇。
LLaMA並無超越ChatGPT,更別說GPT-4了。
Meta的論文宣稱「我們的模型不需要GPT3那麼多的訓練資料,也能達到不錯效果」
適合一般人電腦使用的為13B模型,它需要12GB的RAM,就算以CPU硬算,速度和回答品質
也還能接受。13B應該視為起跑點,訓練資料在那之下的模型回答品質...很差,例如
Pygmalion6B這種的只在特定用途有用。
跑大型語言模型的硬體需求?
硬碟空間自不用說,模型檔案最小都有4GB,所以最好準備20GB以上的SSD存放模型。
跑大型語言模型可以分為CPU與GPU模式。
AI的東西用CPU算通常是處於劣勢,但還是有人做出來了。
CPU模式依賴llama.cpp這個技術,以CPU下去算雖然可能只有GPU的十分之一效能,
例如Vicuna13B以CPU生成回答至少要等30秒,context越長等越久。
但是硬體需求就降低了許多。使用CPU運算的情況下只要有Intel i5 7代的CPU + 16GB以上
RAM即可跑13B的大型語言模型,不用顯示卡。
另一方面,用GPU跑是更好的選擇,13B的模型在4bit模式最低只需要10GB的VRAM,也就是
Nvidia RTX3060以上的GPU。用GPU跑的模式下,生成回答的速度會大為提昇。
不過,考慮到未來AI的發展,直接買RTX4090是最無腦的選擇。因為語言模型不像AI繪圖
一樣可以慢慢等生成,若要達成ChatGPT的無縫對話使用體驗,硬體一定要先準備好。
要使用哪個軟體跑大型語言模型?
就像Stable Diffusion有WebUI一樣,你不能期望每個人都用終端機跟語言模型講話吧?
所以陸續有人開發LLaMA的前端程式。
nsarrazin開發的Serge:這個軟體以Docker安裝,開箱即用,下載模型與聊天都在網頁界
面完成。只支援CPU模式。
https://i.imgur.com/QHHqRBH.png
cocktailpeanut開發的Dalai:以NPX安裝,類似Serge,只支援CPU模式。
https://i.imgur.com/GMhfoME.png
oobabooga開發的Text Generation WebUI:功能複雜,bug也很多。擴充性高,可以跟AI玩
角色扮演,或是呼叫Stable Diffusion WebUI生圖。
支援CPU與GPU模式運算。
可用的模型除了LLaMA系列外,還支援LLaMA以前的模型,如Pygmalion6B、GPT4Chan。
要使用哪個軟體跑大型語言模型?
就像Stable Diffusion有WebUI一樣,你不能期望每個人都用終端機跟語言模型講話吧?
所以陸續有人開發LLaMA的前端程式。
nsarrazin開發的Serge:這個軟體以Docker安裝,開箱即用,下載模型與聊天都在網頁界
面完成。只支援CPU模式。
https://i.imgur.com/QHHqRBH.png
cocktailpeanut開發的Dalai:以NPX安裝,類似Serge,只支援CPU模式。
https://i.imgur.com/GMhfoME.png
oobabooga開發的Text Generation WebUI:功能複雜,bug也很多。擴充性高,可以跟AI玩
角色扮演,或是呼叫Stable Diffusion WebUI生圖。
支援CPU與GPU模式運算。
可用的模型除了LLaMA系列外,還支援LLaMA以前的模型,如Pygmalion6B、GPT4Chan。
https://i.imgur.com/sVGkSuI.png
除此之外,釋出模型的研究機構多半也會提供demo程式,不過要找通吃各種語言模型的
軟體就以上三個。
由於這些軟體都是以網頁界面提供,在主機安裝後,只要設定路由器,或是使用虛擬區網
軟體(ZeroTier、TailScale)即可隨時用手邊的瀏覽器與AI對話。
--
想辦法在開源系統跑閉源遊戲
https://i.imgur.com/FUrYLxA.png
Arch是真愛
https://i.imgur.com/0ja0Tx8.png
論使用Gentoo的好處
https://i.imgur.com/QjvfLfR.png
是言論自由,不是免費啤酒
https://i.imgur.com/sNmNm9x.png
流量密碼
https://i.imgur.com/rXERMcM.png
刪除user? 我不記得有這功能
https://i.imgur.com/xcml0xN.png
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.40.25.38 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1683110407.A.784.html
※ 編輯: ivon852 (114.40.25.38 臺灣), 05/03/2023 18:41:38
1F:推 avans: 推介紹,我只知道LLaMA與他的修改版兩種,有推fb將他給公開05/03 18:51
2F:→ strangegamma: 感謝介紹!05/03 19:04
3F:推 wres666: 推05/03 20:42
4F:推 tonyscat: 推05/03 23:32
5F:推 cloki: 推 那個開箱即用的好像也很好用05/04 02:19
6F:推 itsdelovely: 推05/04 07:01
7F:推 jack00002100: 推05/04 07:07
8F:推 marklai: 推,可否寫個如何安裝的教學?05/04 07:52
9F:推 Destiny6: 推,正在找能單機文字生成語言模型05/04 22:00
10F:推 marklai: oobabooga 的 chatbot 好像跟SD可以高度連結, 盼望有大05/07 15:02
11F:→ marklai: 神可以指導05/07 15:02
就擴充功能裝一裝。電腦同時跑這二個服務需要很強的硬體。
12F:推 yidweahzai: 都玩好幾個月了 現在才貼出來05/10 17:08
總要等它穩定一點才能分享安裝流程。這些軟體初期都有巨量bug,很多甚至到現在連一鍵
安裝器都沒有。
※ 編輯: ivon852 (111.71.221.186 臺灣), 05/11/2023 20:06:53