作者attacksoil (第三方程式)
看板C_Chat
標題Re: [閒聊] 為什麼開源模型對硬體的要求可以降低
時間Tue Aug 11 08:15:40 2026
本宅理解是這樣:
1. 模型越大越聰明 模型越小運行越快
但隨著技術進步 小模型也會變聰明
2. "量化"是指把大模型刪減為小模型 仍盡量維持模型智能的技術
量化技術也不斷改善
3. 這兩年有一個新技術叫MOE 他原始的意義
其實主要是為了讓大模型運算加速 (讓大模型跟小模型一樣快)
但因為其特性(稀疏) 讓很多採用MOE架構的模型
在"量化"時也可以更保留模型智能 (這段關聯我也不是太懂)
所以結果小模型更快 效果更好
4. 但量化其實也會讓模型運行變慢（有點像是要unzip)
5. 然後其實是開源和閉源模型一起進步
只是我們一般用戶只能看到閉源模型尺寸變小
發現首篇好像沒點 補一下
所以結論就是像2樓說的 以後每個人手機都可以養chobits
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.167.67.11 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/C_Chat/M.1786407342.A.E6F.html
※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:18:36
1F：→ skyofme: 因為開源只要有人想做就能做，所以你只關心特定功能，開08/11 08:20
2F：→ skyofme: 源的進度可能會比較快08/11 08:20
3F：→ skyofme: 沒開的就只能看維護的人選擇怎麼做08/11 08:21
4F：→ nineflower: 再過5年 手機可能都能安裝大型本地模型了08/11 08:30
※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:33:01
5F：→ jakai: 應該說手機上跑的模型會越來越聰明，知識純量還是會受限 08/11 08:37
6F：→ error405: 弄出超強大模型 再用它做小模型 08/11 08:51
7F：→ error405: Qwen gemma4 還有最近祖克伯出的都是這樣 08/11 08:51
8F：推 jupto: 手機有聯網能力幹嘛本地跑模型？ 這個需求應該會更傾向於在 08/11 08:54
9F：→ jupto: 車載或無人機這種無法保證聯網穩定又有即時需求的終端上 08/11 08:54
10F：→ error405: 總是有些私人需求 對阿 08/11 08:57
11F：→ nineflower: 8F.....你這問題天真到不知道該如何回答 08/11 09:00
12F：→ jupto: 我覺得與其發展手機跑的本地模型 應該會發展成廠商直接提 08/11 09:01
13F：→ jupto: 供線上的高隱私模型 08/11 09:01
14F：→ skyofme: 連回自家本地比較合理就是了 08/11 09:01
15F：→ nineflower: 你這問題把手機換成電腦就能得到答案了 08/11 09:02
16F：→ skyofme: 真的能在手機本地部署大概也割了蠻多能力的 08/11 09:02
17F：→ skyofme: 線上服務目前就一個問題你有沒有比較敏感的需求 08/11 09:04
18F：→ labbat: 手機AI修圖已經落後了，影片銳利化也是，現在是AI助理 08/11 09:05
19F：推 nineflower: 至少本地能省錢 等這一波AI大逃殺結束 活下來的可以任 08/11 09:06
20F：→ nineflower: 意漲價 想了就可怕 08/11 09:06
21F：→ skyofme: 不討論犯刑法的，有版權議題的就很難保證穩定 08/11 09:06
22F：→ jupto: 就算有敏感需求 也能靠保密契約或是加密技術保證敏感資訊 08/11 09:08
23F：→ jupto: 的安全 因為這個需求去閹割性能不划算 08/11 09:08
24F：推 kalen123: 你手機不發展本地模型，在攝影、拍照、翻譯等對即時性 08/11 09:08
25F：→ kalen123: 要求極高的需求時要怎辦？你等的起那幾秒？在網路未普 08/11 09:08
26F：→ kalen123: 及的國家、或根本沒訊號，或因為人太多網路壅擠的地區 08/11 09:08
27F：→ kalen123: 怎辦？ 08/11 09:08
28F：→ jupto: 本地省錢就完全看你性能要求跟不跟的上時代了 人家數據中 08/11 09:12
29F：→ jupto: 心的成本攤提比你本地架有優勢多了 跟著時代浪潮的性能需求 08/11 09:12
30F：→ jupto: 你拼不過那些巨頭 08/11 09:12
31F：→ qss05: 手機還是先解決電池的問題吧，還沒用模型就已經不夠用了， 08/11 09:16
32F：→ qss05: 一堆人說什麼他可以手機用兩天，那根本沒在用吧，以後跑模 08/11 09:16
33F：→ qss05: 型，幹什麼都像玩手遊的，能用半天就偷笑了 08/11 09:16
34F：→ skyofme: 只能說面向很多，需求也很多 08/11 09:18
35F：→ qss05: 而且你跑本地更吃更新跟廠商優化，以後小牌又要死一遍，大 08/11 09:18
36F：→ qss05: 牌搞不好都收訂閱費 08/11 09:18
37F：→ jupto: 攝影、拍照、翻譯這種早就有堪用的解方 發展本地AI模型完 08/11 09:19
38F：→ jupto: 全就是順便買噱頭而已 08/11 09:19
39F：→ pikachu2421: 本地:可以色色 線上:不能色色 08/11 09:48
40F：推 nwkasim: 8F好天真，你覺得想畫什麼圖廠商的AI都會讓你畫？哪天說 08/11 10:33
41F：→ nwkasim: 禁止生成他認為的未滿18歲人物，你也拿他沒輒 08/11 10:33
42F：→ gbcg9725: 本地Minimax真香 08/11 11:16
43F：→ gbcg9725: 線上貴死擋東擋西 08/11 11:16
44F：→ gbcg9725: 不過我不覺得手機跑的起來本地就是 08/11 11:17
45F：→ jupto: 首先手機跑模型不等於本地跑模型 二來架一個本地跑模型的電 08/11 11:28
46F：→ jupto: 腦要多少錢能跑的模型跟不跟的上技術迭代這些都是考量因素 08/11 11:28
47F：→ jupto: 當然如果你的口袋深到能隨時蓋一座數據中心自己養模型肯定 08/11 11:31
48F：→ jupto: 最自由 問題是一般人行嗎？ 08/11 11:31
49F：→ necrophagist: 模型量化參數量不變 100B量化還是100B 量化的是每 08/11 12:08
50F：→ necrophagist: 個參數儲存的精度 粗略譬喻就是圓周率你可以存成小 08/11 12:08
51F：→ necrophagist: 數後32位或直接存成3.14 量化通常只會更快 除非你 08/11 12:08
52F：→ necrophagist: 硬體軟體不支援使用的量化方式 閉源模型也都在量化 08/11 12:08
53F：→ necrophagist: 一些新模型剛出很聰明後面變笨就是廠商換成高度量 08/11 12:08
54F：→ necrophagist: 化版本的來省運行成本/服務更多人 08/11 12:08
55F：→ bluejark: 不是喔 模型大不代表慢 只是你的硬體跑不動 08/11 19:46
56F：→ bluejark: 大模型訓練出來因為訓練的問題會出現一些不重要的東西 08/11 19:51
57F：→ bluejark: 所以可以去找出哪些是可以精簡的 08/11 20:03
58F：→ bluejark: 還有就是設計給多gpu跑的 個人電腦用不到 08/11 20:04
59F：→ bluejark: 量化有幾個方法 通常會有所劣化 但到一般能接受就好程度 08/11 20:05