作者k9120303 (月昇王国)
看板MobileComm
标题[心得] 旧手机也能轻松的跑本地生成式AI模型！
时间Sat May 3 01:14:14 2025
AI揭露：本文有部分段落使用ChatGPT生成，再经笔者润稿，若有错误请再告知。
小弟现在使用的是五年前的旧手机 VIVO iQOO Neo3（12GB+128GB），高通骁龙865，
今天主要是要介绍两个开源AI APP，让旧手机也能轻松在本地布署AI模型，无需连网！
1. PocketPal AI
https://github.com/a-ghorbani/pocketpal-ai
PocketPal AI 是一款专为 Android 装置设计的离线 AI 助手应用程式，
支援载入 GGUF 格式的小型语言模型（SLMs），如 Qwen、Gemma、Phi 等，
让使用者在无网路连线的情况下也能与 AI 互动。
所有推理运算皆在本机执行，确保资料隐私。
应用程式提供模型下载、切换、性能测试、个性化 AI 助手（Pals）等功能，
并可透过 Hugging Face 直接搜寻与管理模型，适合开发者与 AI 爱好者使用。
这边推荐使用Q8量化过的Google Gemma 3 1B，
繁体中文使用友善，是个人觉得最聪明的小语言模型，没有之一。
https://i.imgur.com/6CBwxJk.png
2. Stable Diffusion AI (SDAI)
https://github.com/ShiftHackZ/Stable-Diffusion-Android
（F-Droid上的SDAI FOSS版本没有广告）
SDAI是一款让 Android 装置可离线执行 Stable Diffusion 的应用程式。
支援完整原生 Python 环境与 Web UI，
可本地生成 AI 图像，支援模型自订与提示词输入。
最新版更整合 Microsoft ONNX Runtime（Beta），
可透过 ONNX 模型加速推论，提升效能与相容性，
让用户在手机上体验 AI 图像生成，无需依赖云端或电脑。
发现这APP的时候满惊艳的，有稍微研究过的人就知道，
图像生成模型不只布署上麻烦，更需要较强的算力（尤其很吃VRAM），
这APP直接帮你弄好8种环境，还有提供编译过的ONNX模型供离线使用，非常友善！
https://i.imgur.com/CXEkqav.png
本篇仅是抛砖引玉，虽然距离实用性还有一段不小的距离，
但可以无限生成且不会被卡Prompt限制！也欢迎各位分享使用心得～
--
[问卦] 睡醒身上常有不知名的瘀青
1F：→ ewjfd: 我家的香蕉放久也会这样 你会不会是香蕉?12/12 02:20
你才是香蕉 你全家都香蕉
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.160.154.200 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MobileComm/M.1746206143.A.018.html
2F：推 gaiaesque : 推05/03 01:52
3F：→ leopika : 所以这两个不能润稿吗？最後还不是要用chatgpt05/03 02:13
4F：推 issemn : 可以画色色图吗05/03 03:22
可以XD
5F：推 rei196 : 签名档香蕉实在是太好笑XD05/03 03:53
※ 编辑: k9120303 (42.72.15.201 台湾), 05/03/2025 04:02:06
6F：→ Ahhhhaaaa : S865生成一张图要不要五分钟？ 05/03 05:30
7F：推 p40403 : 可以通话翻译吗 05/03 05:39
8F：推 Abababa : 帮助不少 谢大哥 05/03 05:51
9F：推 athraugh : 先推，在研究看看 05/03 06:41
10F：推 Ahhhhaaaa : 8gen2生成一张图要160秒 中途吃掉9GB记忆体 05/03 06:57
11F：→ Ahhhhaaaa : 那用云端生成不是比较好吗? 05/03 06:58
12F：推 gt99 : 新知get 05/03 07:03
13F：→ grantchiue : 可以取得google助理做一些操作手机的事情吗 05/03 07:07
14F：推 avans : 推心得与介绍 05/03 07:52
15F：推 Jokering5566: 太好了 我的24g ram 8g3终於有用途了 05/03 08:21
16F：推 f396761440 : 推，心得分享 05/03 08:35
17F：推 xoy : 心得推，有这种对照组才容易体现本地AI堆多少料会 05/03 09:06
18F：→ xoy : 有多少的效果 05/03 09:06
19F：推 pttlon : 感谢分享 05/03 09:12
20F：推 Two4 : 有趣推，有空来玩 05/03 10:13
21F：推 kamir : 不用太期待速度 05/03 10:45
22F：推 NX9999 : 好东西!!推推 05/03 11:04
23F：推 gaiaesque : SDAI有人觉得哪个模组比较好用呢 如果只是要生成简 05/03 11:05
24F：→ gaiaesque : 洁的桌面? 05/03 11:05
25F：推 p40403 : 8G2开始就有INT4，理论上会快一点 05/03 11:08
26F：推 gaiaesque : 试了一下 用8gen3生成一张简单的桌面 大概要两分钟 05/03 11:21
27F：→ gaiaesque : 以上 手机会很明显变热 我觉得玩玩就好 如果真要找 05/03 11:22
28F：→ gaiaesque : 桌面 那我还是自己去找现有的会比较快跟漂亮XD 05/03 11:22
29F：推 grantchiue : 尝试询问它苗栗县乡镇划分，结果是错的，另外询问 05/03 11:24
30F：→ grantchiue : S24U的规格好像也回答错，可能需要再改善 05/03 11:24
31F：推 TPEcat : 有趣 推推 05/03 11:33
32F：推 flyaway1030 : 速度真的慢得可以 电脑大概2秒跑出来手机可能画超 05/03 11:38
33F：→ flyaway1030 : 久 05/03 11:38
34F：推 sid3 : 谢谢分享 05/03 11:52
35F：→ Ceferino : 一点也不轻松好吗，之前就玩几分钟就砍了 05/03 12:02
36F：推 Ahhhhaaaa : stable diffusion可能手机arm要转译（？） 05/03 12:03
37F：→ Ahhhhaaaa : 电脑一堆人用n卡a卡在玩 05/03 12:03
38F：推 keigowei : 结论：还是连线跑各家AI就好 哈 05/03 13:03
39F：→ DrTech : 一分钱，一分货。这种小模型如果真的堪用，大家早就 05/03 13:20
40F：→ DrTech : 拿来local用了。 05/03 13:20
41F：→ DrTech : 真的堪用，NV早就倒了。 05/03 13:22
42F：推 dias7812 : 电脑好棒 但是你要那麽多桌布干嘛- -? 05/03 13:40
43F：推 asmiocv : 我电脑跑的模型都不怎麽样了，手机再发展个10年吧 05/03 14:10
44F：推 simplytony : 电脑跑本地模型我觉得至少14b等级 Q4量化才比较堪 05/03 15:01
45F：→ simplytony : 用而已...手机的真的... 05/03 15:01
46F：推 wujet09100 : 感谢分享资讯 来去玩玩看1分钟可以输出几个字哈哈 05/03 15:19
47F：→ wujet09100 : 哈 05/03 15:19
48F：推 Yuwuen : 感谢分享 05/03 17:09
49F：推 kanding255 : 色图 阿斯 05/03 19:15
50F：推 Baternest : 跑本地AI都是玩玩而已 效能不够顶实用性很低的 05/03 20:28
51F：推 Louis430 : 电脑没比手机鸟的就不用试了 特定场景外没有多方便 05/03 20:48
52F：推 melic : s865是Adreno 650(587MHz)，大概等於电脑哪张显卡？ 05/03 20:57
53F：推 rickphyman42: 推 05/04 00:28
54F：推 Anal : 推 05/04 14:49
55F：推 penguinfuko : 这个在android上目前不支援GPU跑喔 05/07 21:04