作者k9120303 (月昇王国)
看板MobileComm
标题[心得] 旧手机也能轻松的跑本地生成式AI模型!
时间Sat May 3 01:14:14 2025
AI揭露:本文有部分段落使用ChatGPT生成,再经笔者润稿,若有错误请再告知。
小弟现在使用的是五年前的旧手机 VIVO iQOO Neo3(12GB+128GB),高通骁龙865,
今天主要是要介绍两个开源AI APP,让旧手机也能轻松在本地布署AI模型,无需连网!
1. PocketPal AI
https://github.com/a-ghorbani/pocketpal-ai
PocketPal AI 是一款专为 Android 装置设计的离线 AI 助手应用程式,
支援载入 GGUF 格式的小型语言模型(SLMs),如 Qwen、Gemma、Phi 等,
让使用者在无网路连线的情况下也能与 AI 互动。
所有推理运算皆在本机执行,确保资料隐私。
应用程式提供模型下载、切换、性能测试、个性化 AI 助手(Pals)等功能,
并可透过 Hugging Face 直接搜寻与管理模型,适合开发者与 AI 爱好者使用。
这边推荐使用Q8量化过的Google Gemma 3 1B,
繁体中文使用友善,是个人觉得最聪明的小语言模型,没有之一。
https://i.imgur.com/6CBwxJk.png
2. Stable Diffusion AI (SDAI)
https://github.com/ShiftHackZ/Stable-Diffusion-Android
(F-Droid上的SDAI FOSS版本没有广告)
SDAI是一款让 Android 装置可离线执行 Stable Diffusion 的应用程式。
支援完整原生 Python 环境与 Web UI,
可本地生成 AI 图像,支援模型自订与提示词输入。
最新版更整合 Microsoft ONNX Runtime(Beta),
可透过 ONNX 模型加速推论,提升效能与相容性,
让用户在手机上体验 AI 图像生成,无需依赖云端或电脑。
发现这APP的时候满惊艳的,有稍微研究过的人就知道,
图像生成模型不只布署上麻烦,更需要较强的算力(尤其很吃VRAM),
这APP直接帮你弄好8种环境,还有提供编译过的ONNX模型供离线使用,非常友善!
https://i.imgur.com/CXEkqav.png
本篇仅是抛砖引玉,虽然距离实用性还有一段不小的距离,
但可以无限生成且不会被卡Prompt限制!也欢迎各位分享使用心得~
--
[问卦] 睡醒身上常有不知名的瘀青
1F:→ ewjfd: 我家的香蕉放久也会这样 你会不会是香蕉?12/12 02:20
你才是香蕉 你全家都香蕉
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.160.154.200 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MobileComm/M.1746206143.A.018.html
2F:推 gaiaesque : 推05/03 01:52
3F:→ leopika : 所以这两个不能润稿吗?最後还不是要用chatgpt05/03 02:13
4F:推 issemn : 可以画色色图吗05/03 03:22
可以XD
5F:推 rei196 : 签名档香蕉实在是太好笑XD05/03 03:53
※ 编辑: k9120303 (42.72.15.201 台湾), 05/03/2025 04:02:06
6F:→ Ahhhhaaaa : S865生成一张图要不要五分钟? 05/03 05:30
7F:推 p40403 : 可以通话翻译吗 05/03 05:39
8F:推 Abababa : 帮助不少 谢大哥 05/03 05:51
9F:推 athraugh : 先推,在研究看看 05/03 06:41
10F:推 Ahhhhaaaa : 8gen2生成一张图要160秒 中途吃掉9GB记忆体 05/03 06:57
11F:→ Ahhhhaaaa : 那用云端生成不是比较好吗? 05/03 06:58
12F:推 gt99 : 新知get 05/03 07:03
13F:→ grantchiue : 可以取得google助理做一些操作手机的事情吗 05/03 07:07
14F:推 avans : 推心得与介绍 05/03 07:52
15F:推 Jokering5566: 太好了 我的24g ram 8g3终於有用途了 05/03 08:21
16F:推 f396761440 : 推,心得分享 05/03 08:35
17F:推 xoy : 心得推,有这种对照组才容易体现本地AI堆多少料会 05/03 09:06
18F:→ xoy : 有多少的效果 05/03 09:06
19F:推 pttlon : 感谢分享 05/03 09:12
20F:推 Two4 : 有趣推,有空来玩 05/03 10:13
21F:推 kamir : 不用太期待速度 05/03 10:45
22F:推 NX9999 : 好东西!!推推 05/03 11:04
23F:推 gaiaesque : SDAI有人觉得哪个模组比较好用呢 如果只是要生成简 05/03 11:05
24F:→ gaiaesque : 洁的桌面? 05/03 11:05
25F:推 p40403 : 8G2开始就有INT4,理论上会快一点 05/03 11:08
26F:推 gaiaesque : 试了一下 用8gen3生成一张简单的桌面 大概要两分钟 05/03 11:21
27F:→ gaiaesque : 以上 手机会很明显变热 我觉得玩玩就好 如果真要找 05/03 11:22
28F:→ gaiaesque : 桌面 那我还是自己去找现有的会比较快跟漂亮XD 05/03 11:22
29F:推 grantchiue : 尝试询问它苗栗县乡镇划分,结果是错的,另外询问 05/03 11:24
30F:→ grantchiue : S24U的规格好像也回答错,可能需要再改善 05/03 11:24
31F:推 TPEcat : 有趣 推推 05/03 11:33
32F:推 flyaway1030 : 速度真的慢得可以 电脑大概2秒跑出来手机可能画超 05/03 11:38
33F:→ flyaway1030 : 久 05/03 11:38
34F:推 sid3 : 谢谢分享 05/03 11:52
35F:→ Ceferino : 一点也不轻松好吗,之前就玩几分钟就砍了 05/03 12:02
36F:推 Ahhhhaaaa : stable diffusion可能手机arm要转译(?) 05/03 12:03
37F:→ Ahhhhaaaa : 电脑一堆人用n卡a卡在玩 05/03 12:03
38F:推 keigowei : 结论:还是连线跑各家AI就好 哈 05/03 13:03
39F:→ DrTech : 一分钱,一分货。这种小模型如果真的堪用,大家早就 05/03 13:20
40F:→ DrTech : 拿来local用了。 05/03 13:20
41F:→ DrTech : 真的堪用,NV早就倒了。 05/03 13:22
42F:推 dias7812 : 电脑好棒 但是你要那麽多桌布干嘛- -? 05/03 13:40
43F:推 asmiocv : 我电脑跑的模型都不怎麽样了,手机再发展个10年吧 05/03 14:10
44F:推 simplytony : 电脑跑本地模型我觉得至少14b等级 Q4量化才比较堪 05/03 15:01
45F:→ simplytony : 用而已...手机的真的... 05/03 15:01
46F:推 wujet09100 : 感谢分享资讯 来去玩玩看1分钟可以输出几个字哈哈 05/03 15:19
47F:→ wujet09100 : 哈 05/03 15:19
48F:推 Yuwuen : 感谢分享 05/03 17:09
49F:推 kanding255 : 色图 阿斯 05/03 19:15
50F:推 Baternest : 跑本地AI都是玩玩而已 效能不够顶实用性很低的 05/03 20:28
51F:推 Louis430 : 电脑没比手机鸟的就不用试了 特定场景外没有多方便 05/03 20:48
52F:推 melic : s865是Adreno 650(587MHz),大概等於电脑哪张显卡? 05/03 20:57
53F:推 rickphyman42: 推 05/04 00:28
54F:推 Anal : 推 05/04 14:49
55F:推 penguinfuko : 这个在android上目前不支援GPU跑喔 05/07 21:04