自從Meta發表LLaMA大型語言模型以來，便陸續出現了許多以其為基礎的語言模型，並有許 多程式出現，為本機自架ChatGPT鋪路。 自架(self-host)的好處自不用說，最主要是能保護隱私，不依賴第三方服務這樣。如果 硬體足夠強大，你也可以讓語言模型與生圖模型等其他AI工具合力工作。 本文試圖總結一些目前自架的方案。 目前有哪些開源模型可用？ 主流的有這三個，名字都跟羊駝有關： LLaMA：Meta最初釋出的模型，用於研究用途，需要填表索取，但你知道的好康東西一但 在網上洩漏基本上就無法收回了，下面介紹的前端軟體都會幫你準備好載點。 可以確定的是此模型不能商用，個人使用無妨。 Alpaca：Stanford針對對話微調過的LLaMA Vicuna：訓練的時候以GPT-4當裁判，宣稱性能超越前二者 還有GPT4All、ChatGLM，以及各種融合LLaMA的模型，每天在Reddit r/LocalLLaMA板都能 看到新的模型出現。 儘管這些模型只有ChatGLM是原生支援中文對答的，但在玩LLaMA之類的英文模型還是可以 透過promp指示AI，強迫AI以中文作答。LLaMA系列的模型都支援文本翻譯。 模型後面數字的意義是？ 7B、13B、30B、65B、是代表訓練參數的數量，理論上越大AI會越聰明，可是硬體資源會 吃更兇。 LLaMA並無超越ChatGPT，更別說GPT-4了。 Meta的論文宣稱「我們的模型不需要GPT3那麼多的訓練資料，也能達到不錯效果」 適合一般人電腦使用的為13B模型，它需要12GB的RAM，就算以CPU硬算，速度和回答品質 也還能接受。13B應該視為起跑點，訓練資料在那之下的模型回答品質...很差，例如 Pygmalion6B這種的只在特定用途有用。 跑大型語言模型的硬體需求？ 硬碟空間自不用說，模型檔案最小都有4GB，所以最好準備20GB以上的SSD存放模型。 跑大型語言模型可以分為CPU與GPU模式。 AI的東西用CPU算通常是處於劣勢，但還是有人做出來了。 CPU模式依賴llama.cpp這個技術，以CPU下去算雖然可能只有GPU的十分之一效能， 例如Vicuna13B以CPU生成回答至少要等30秒，context越長等越久。 但是硬體需求就降低了許多。使用CPU運算的情況下只要有Intel i5 7代的CPU + 16GB以上 RAM即可跑13B的大型語言模型，不用顯示卡。 另一方面，用GPU跑是更好的選擇，13B的模型在4bit模式最低只需要10GB的VRAM，也就是 Nvidia RTX3060以上的GPU。用GPU跑的模式下，生成回答的速度會大為提昇。 不過，考慮到未來AI的發展，直接買RTX4090是最無腦的選擇。因為語言模型不像AI繪圖 一樣可以慢慢等生成，若要達成ChatGPT的無縫對話使用體驗，硬體一定要先準備好。 要使用哪個軟體跑大型語言模型？ 就像Stable Diffusion有WebUI一樣，你不能期望每個人都用終端機跟語言模型講話吧？ 所以陸續有人開發LLaMA的前端程式。 nsarrazin開發的Serge：這個軟體以Docker安裝，開箱即用，下載模型與聊天都在網頁界 面完成。只支援CPU模式。 https://i.imgur.com/QHHqRBH.png cocktailpeanut開發的Dalai：以NPX安裝，類似Serge，只支援CPU模式。 https://i.imgur.com/GMhfoME.png oobabooga開發的Text Generation WebUI：功能複雜，bug也很多。擴充性高，可以跟AI玩 角色扮演，或是呼叫Stable Diffusion WebUI生圖。 支援CPU與GPU模式運算。 可用的模型除了LLaMA系列外，還支援LLaMA以前的模型，如Pygmalion6B、GPT4Chan。 要使用哪個軟體跑大型語言模型？ 就像Stable Diffusion有WebUI一樣，你不能期望每個人都用終端機跟語言模型講話吧？ 所以陸續有人開發LLaMA的前端程式。 nsarrazin開發的Serge：這個軟體以Docker安裝，開箱即用，下載模型與聊天都在網頁界 面完成。只支援CPU模式。 https://i.imgur.com/QHHqRBH.png cocktailpeanut開發的Dalai：以NPX安裝，類似Serge，只支援CPU模式。 https://i.imgur.com/GMhfoME.png oobabooga開發的Text Generation WebUI：功能複雜，bug也很多。擴充性高，可以跟AI玩 角色扮演，或是呼叫Stable Diffusion WebUI生圖。 支援CPU與GPU模式運算。 可用的模型除了LLaMA系列外，還支援LLaMA以前的模型，如Pygmalion6B、GPT4Chan。 https://i.imgur.com/sVGkSuI.png 除此之外，釋出模型的研究機構多半也會提供demo程式，不過要找通吃各種語言模型的 軟體就以上三個。 由於這些軟體都是以網頁界面提供，在主機安裝後，只要設定路由器，或是使用虛擬區網 軟體(ZeroTier、TailScale)即可隨時用手邊的瀏覽器與AI對話。 -- 想辦法在開源系統跑閉源遊戲 https://i.imgur.com/FUrYLxA.png Arch是真愛 https://i.imgur.com/0ja0Tx8.png 論使用Gentoo的好處 https://i.imgur.com/QjvfLfR.png 是言論自由，不是免費啤酒 https://i.imgur.com/sNmNm9x.png 流量密碼 https://i.imgur.com/rXERMcM.png 刪除user? 我不記得有這功能 https://i.imgur.com/xcml0xN.png --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.40.25.38 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1683110407.A.784.html ※ 編輯: ivon852 (114.40.25.38 臺灣), 05/03/2023 18:41:38 就擴充功能裝一裝。電腦同時跑這二個服務需要很強的硬體。 總要等它穩定一點才能分享安裝流程。這些軟體初期都有巨量bug，很多甚至到現在連一鍵 安裝器都沒有。 ※ 編輯: ivon852 (111.71.221.186 臺灣), 05/11/2023 20:06:53