作者k9120303 (月昇王國)
看板MobileComm
標題[心得] 舊手機也能輕鬆的跑本地生成式AI模型！
時間Sat May 3 01:14:14 2025
AI揭露：本文有部分段落使用ChatGPT生成，再經筆者潤稿，若有錯誤請再告知。
小弟現在使用的是五年前的舊手機 VIVO iQOO Neo3（12GB+128GB），高通驍龍865，
今天主要是要介紹兩個開源AI APP，讓舊手機也能輕鬆在本地佈署AI模型，無需連網！
1. PocketPal AI
https://github.com/a-ghorbani/pocketpal-ai
PocketPal AI 是一款專為 Android 裝置設計的離線 AI 助手應用程式，
支援載入 GGUF 格式的小型語言模型（SLMs），如 Qwen、Gemma、Phi 等，
讓使用者在無網路連線的情況下也能與 AI 互動。
所有推理運算皆在本機執行，確保資料隱私。
應用程式提供模型下載、切換、性能測試、個性化 AI 助手（Pals）等功能，
並可透過 Hugging Face 直接搜尋與管理模型，適合開發者與 AI 愛好者使用。
這邊推薦使用Q8量化過的Google Gemma 3 1B，
繁體中文使用友善，是個人覺得最聰明的小語言模型，沒有之一。
https://i.imgur.com/6CBwxJk.png
2. Stable Diffusion AI (SDAI)
https://github.com/ShiftHackZ/Stable-Diffusion-Android
（F-Droid上的SDAI FOSS版本沒有廣告）
SDAI是一款讓 Android 裝置可離線執行 Stable Diffusion 的應用程式。
支援完整原生 Python 環境與 Web UI，
可本地生成 AI 圖像，支援模型自訂與提示詞輸入。
最新版更整合 Microsoft ONNX Runtime（Beta），
可透過 ONNX 模型加速推論，提升效能與相容性，
讓用戶在手機上體驗 AI 圖像生成，無需依賴雲端或電腦。
發現這APP的時候滿驚豔的，有稍微研究過的人就知道，
圖像生成模型不只佈署上麻煩，更需要較強的算力（尤其很吃VRAM），
這APP直接幫你弄好8種環境，還有提供編譯過的ONNX模型供離線使用，非常友善！
https://i.imgur.com/CXEkqav.png
本篇僅是拋磚引玉，雖然距離實用性還有一段不小的距離，
但可以無限生成且不會被卡Prompt限制！也歡迎各位分享使用心得～
--
[問卦] 睡醒身上常有不知名的瘀青
1F：→ ewjfd: 我家的香蕉放久也會這樣 你會不會是香蕉?12/12 02:20
你才是香蕉 你全家都香蕉
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.154.200 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/MobileComm/M.1746206143.A.018.html
2F：推 gaiaesque : 推05/03 01:52
3F：→ leopika : 所以這兩個不能潤稿嗎？最後還不是要用chatgpt05/03 02:13
4F：推 issemn : 可以畫色色圖嗎05/03 03:22
可以XD
5F：推 rei196 : 簽名檔香蕉實在是太好笑XD05/03 03:53
※ 編輯: k9120303 (42.72.15.201 臺灣), 05/03/2025 04:02:06
6F：→ Ahhhhaaaa : S865生成一張圖要不要五分鐘？ 05/03 05:30
7F：推 p40403 : 可以通話翻譯嗎 05/03 05:39
8F：推 Abababa : 幫助不少 謝大哥 05/03 05:51
9F：推 athraugh : 先推，在研究看看 05/03 06:41
10F：推 Ahhhhaaaa : 8gen2生成一張圖要160秒 中途吃掉9GB記憶體 05/03 06:57
11F：→ Ahhhhaaaa : 那用雲端生成不是比較好嗎? 05/03 06:58
12F：推 gt99 : 新知get 05/03 07:03
13F：→ grantchiue : 可以取得google助理做一些操作手機的事情嗎 05/03 07:07
14F：推 avans : 推心得與介紹 05/03 07:52
15F：推 Jokering5566: 太好了 我的24g ram 8g3終於有用途了 05/03 08:21
16F：推 f396761440 : 推，心得分享 05/03 08:35
17F：推 xoy : 心得推，有這種對照組才容易體現本地AI堆多少料會 05/03 09:06
18F：→ xoy : 有多少的效果 05/03 09:06
19F：推 pttlon : 感謝分享 05/03 09:12
20F：推 Two4 : 有趣推，有空來玩 05/03 10:13
21F：推 kamir : 不用太期待速度 05/03 10:45
22F：推 NX9999 : 好東西!!推推 05/03 11:04
23F：推 gaiaesque : SDAI有人覺得哪個模組比較好用呢 如果只是要生成簡 05/03 11:05
24F：→ gaiaesque : 潔的桌面? 05/03 11:05
25F：推 p40403 : 8G2開始就有INT4，理論上會快一點 05/03 11:08
26F：推 gaiaesque : 試了一下 用8gen3生成一張簡單的桌面 大概要兩分鐘 05/03 11:21
27F：→ gaiaesque : 以上 手機會很明顯變熱 我覺得玩玩就好 如果真要找 05/03 11:22
28F：→ gaiaesque : 桌面 那我還是自己去找現有的會比較快跟漂亮XD 05/03 11:22
29F：推 grantchiue : 嘗試詢問它苗栗縣鄉鎮劃分，結果是錯的，另外詢問 05/03 11:24
30F：→ grantchiue : S24U的規格好像也回答錯，可能需要再改善 05/03 11:24
31F：推 TPEcat : 有趣 推推 05/03 11:33
32F：推 flyaway1030 : 速度真的慢得可以 電腦大概2秒跑出來手機可能畫超 05/03 11:38
33F：→ flyaway1030 : 久 05/03 11:38
34F：推 sid3 : 謝謝分享 05/03 11:52
35F：→ Ceferino : 一點也不輕鬆好嗎，之前就玩幾分鐘就砍了 05/03 12:02
36F：推 Ahhhhaaaa : stable diffusion可能手機arm要轉譯（？） 05/03 12:03
37F：→ Ahhhhaaaa : 電腦一堆人用n卡a卡在玩 05/03 12:03
38F：推 keigowei : 結論：還是連線跑各家AI就好 哈 05/03 13:03
39F：→ DrTech : 一分錢，一分貨。這種小模型如果真的堪用，大家早就 05/03 13:20
40F：→ DrTech : 拿來local用了。 05/03 13:20
41F：→ DrTech : 真的堪用，NV早就倒了。 05/03 13:22
42F：推 dias7812 : 電腦好棒 但是你要那麼多桌布幹嘛- -? 05/03 13:40
43F：推 asmiocv : 我電腦跑的模型都不怎麼樣了，手機再發展個10年吧 05/03 14:10
44F：推 simplytony : 電腦跑本地模型我覺得至少14b等級 Q4量化才比較堪 05/03 15:01
45F：→ simplytony : 用而已...手機的真的... 05/03 15:01
46F：推 wujet09100 : 感謝分享資訊 來去玩玩看1分鐘可以輸出幾個字哈哈 05/03 15:19
47F：→ wujet09100 : 哈 05/03 15:19
48F：推 Yuwuen : 感謝分享 05/03 17:09
49F：推 kanding255 : 色圖 阿斯 05/03 19:15
50F：推 Baternest : 跑本地AI都是玩玩而已 效能不夠頂實用性很低的 05/03 20:28
51F：推 Louis430 : 電腦沒比手機鳥的就不用試了 特定場景外沒有多方便 05/03 20:48
52F：推 melic : s865是Adreno 650(587MHz)，大概等於電腦哪張顯卡？ 05/03 20:57
53F：推 rickphyman42: 推 05/04 00:28
54F：推 Anal : 推 05/04 14:49
55F：推 penguinfuko : 這個在android上目前不支援GPU跑喔 05/07 21:04