作者ivon852 (内容农场杀手)
看板MobileComm
标题[讨论] 手机跑小型ChatGPT ~ LLaMA大型语言模型
时间Fri Apr 7 12:57:00 2023
祖克伯的Meta公司今年2月公开的「LLaMA」是体积比较小的大型语言模型(LLM)。
LLaMA依照训练参数数量分为7B、13B、30B、65B。训练数量虽比不上OpenAI的ChatGPT，但
是硬体需求大大降低，是个人电脑甚至旗舰手机都跑得动的程度。
根据他们paper的说法，LLaMA 13B的模型性能比GPT-3模型要好，可以作到基本对答。
一些LLaMA可以达成的任务
这边的截图是来自Dalai LLaMA，它只是一个LLaMA的网页前端。
目前LLaMA只支援英文，未来应该会有中文模型。
1. 帮我把这句话翻译成中文：Taiwan is a country.
https://i.imgur.com/G4o7TYs.png
2. 解释Skinner行为主义心理学理论的优缺点，并举出五个例子
https://i.imgur.com/MtYgomt.png
3. 写个Python程式，寻找一个字串中出现最多次的字元
https://i.imgur.com/3OKMDun.png
4. 帮我想五个新文章标题候选：使用Linux当主力系统的好处
https://i.imgur.com/jjx5prE.png
5. 段落抓重点：请抓出以下有关普遍文法 (Universal Grammar) 段落的重点，并用十句
话解释何为普遍文法。
https://i.imgur.com/6DccCwW.png
在Android手机跑LLaMA
除了LLaMA以外，还有Alpaca模型，这是史丹佛大学微调後的版本。同样的资源耗用较小，
且有人制作了纯CPU运算的版本llama.cpp，不用依赖显示卡。
因此除了在个人电脑跑，也可以跑在Android手机上。
最小的LLaMA 7B至少需要4GB RAM，保险起见手机最好有8GB RAM才不会跑到一半手机自动
重开。
简单的办法就是装Termux，解开signal9的错误
然後设定Proot Debian，把模型下载下来，alpaca.cpp编译一下就可以开始聊天了。
https://i.imgur.com/M24wDqr.png
详细安装方法：
https://reurl.cc/OVDRVg
手机RAM低於8GB的也不用灰心，你可以root後，设定chroot Ubuntu，挂载SWAP强行增大
虚拟记忆体。
手机与电脑速度比较
问一个10个字的问句
纯CPU运算下，LLaMA在Intel Core i5-7400的CPU约10秒就会开始作答，写完回答约1分钟
。
高通s845处理器要等30秒才会开始回答，并且写完整个回答2分钟。
如果使用GPU加速，速度应该会快许多，要用GPU加速可尝试Text Generation WebUI。
LLaMA的回答品质不可能像ChatGPT那麽神，胡言乱语机率更高
但好处是没有任何道德限制～想聊什麽就聊什麽～
随着这类模型的开源，大型语言模型可能会走向Stable Diffusion那样的发展路径。
(虽说LLaMA一开始是提前外泄才为人所知的)
--
想办法在开源系统跑闭源游戏
https://i.imgur.com/FUrYLxA.png
Arch是真爱
https://i.imgur.com/0ja0Tx8.png
论使用Gentoo的好处
https://i.imgur.com/QjvfLfR.png
是言论自由，不是免费啤酒
https://i.imgur.com/sNmNm9x.png
流量密码
https://i.imgur.com/rXERMcM.png
删除user? 我不记得有这功能
https://i.imgur.com/xcml0xN.png
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.27.87.182 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MobileComm/M.1680843424.A.E35.html
1F：推 mistel: 两年前在实验室就用开源框架把GPT2放到手机上试过了04/07 13:19
2F：→ mistel: 只是没必要 毕竟网路发达 中心运算就好04/07 13:19
我觉得未来还是值得试试模型小型化...如果SoC都够强的话啦
3F：推 Ereinion9895: 推，技术力真强04/07 13:24
4F：推 weltschmerz: 认真说 我觉得他们应该去跟line合作 去帮我打字的句04/07 13:42
5F：→ weltschmerz: 子找出对应的贴图04/07 13:42
7F：→ ccpz: 在 Pixel 6 可以跑出 5 token / sec04/07 13:42
随着这类模型的开源，大型语言模型可能会走向Stable Diffusion那样的发展路径。
(虽说LLaMA一开始是提前外泄才为人所知的)
--
想办法在开源系统跑闭源游戏
https://i.imgur.com/FUrYLxA.png
Arch是真爱
https://i.imgur.com/0ja0Tx8.png
论使用Gentoo的好处
https://i.imgur.com/QjvfLfR.png
是言论自由，不是免费啤酒
https://i.imgur.com/sNmNm9x.png
流量密码
https://i.imgur.com/rXERMcM.png
删除user? 我不记得有这功能
https://i.imgur.com/xcml0xN.png
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.27.87.182 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MobileComm/M.1680843424.A.E35.html
8F：推 mistel: 两年前在实验室就用开源框架把GPT2放到手机上试过了04/07 13:19
9F：→ mistel: 只是没必要 毕竟网路发达 中心运算就好04/07 13:19
我觉得未来还是值得试试模型小型化...如果SoC都够强的话啦
10F：推 Ereinion9895: 推，技术力真强04/07 13:24
11F：推 weltschmerz: 认真说 我觉得他们应该去跟line合作 去帮我打字的句04/07 13:42
12F：→ weltschmerz: 子找出对应的贴图04/07 13:42
14F：→ ccpz: 在 Pixel 6 可以跑出 5 token / sec04/07 13:42
Google的先见之明(咦
15F：推 abc0922001: 太酷了04/07 14:14
16F：推 intointo: @@04/07 15:16
17F：推 NX9999: 不错xd04/07 15:57
18F：推 speed7022: 能不用网路也是有很多用处，例如语音助理04/07 16:08
19F：推 Arbin: 用Android NDK打包llama.cpp不知道会不会比较快04/07 18:32
有，llama.cpp作者就有示范用NDK编译，应会比proot快
20F：推 pryu0121: 推04/07 18:41
21F：推 saedn: 好厉害04/07 19:23
22F：推 Cireiat: 推，我连docker都还没改kernel…太有行动力了04/07 20:05
※ 编辑: ivon852 (114.27.87.182 台湾), 04/07/2023 21:15:31
23F：推 DFIGHT: 问一个白痴问题 chatgpt不是手机上就可以跑了吗？ 就一个04/07 21:59
24F：→ DFIGHT: 网页不是？04/07 21:59
25F：推 DFIGHT: 我觉得AI还是交给网路别人算就好 几秒钟才回答==手机有网04/07 22:16
26F：→ DFIGHT: 路chatgpt一两秒就回答了04/07 22:16
确实算力不如人的情况下云端较有优势，不过开源自架的价值就在於可以自己掌控。
27F：推 cowcowleft: 不是每个国家都吃到饱04/07 22:40
28F：推 DFIGHT: 欧@@04/07 22:43
29F：→ juliai: 这个有点厉害04/07 23:20
※ 编辑: ivon852 (114.27.87.182 台湾), 04/08/2023 00:23:09
30F：推 stark333: 你好厉害04/08 03:41
推
JKGOOD: 如果chatGPT可以离线不知道模型库会多大？我猜跟Stable Di 04/08 08:25
目前有quantized处理过的LLaMA模型，最小的4GB，最大的40GB。
※ 编辑: ivon852 (111.71.221.44 台湾), 04/09/2023 00:43:16