作者attacksoil (第三方程式)
看板C_Chat
标题Re: [闲聊] 为什麽开源模型对硬体的要求可以降低
时间Tue Aug 11 08:15:40 2026
本宅理解是这样:
1. 模型越大越聪明 模型越小运行越快
但随着技术进步 小模型也会变聪明
2. "量化"是指把大模型删减为小模型 仍尽量维持模型智能的技术
量化技术也不断改善
3. 这两年有一个新技术叫MOE 他原始的意义
其实主要是为了让大模型运算加速 (让大模型跟小模型一样快)
但因为其特性(稀疏) 让很多采用MOE架构的模型
在"量化"时也可以更保留模型智能 (这段关联我也不是太懂)
所以结果小模型更快 效果更好
4. 但量化其实也会让模型运行变慢（有点像是要unzip)
5. 然後其实是开源和闭源模型一起进步
只是我们一般用户只能看到闭源模型尺寸变小
发现首篇好像没点 补一下
所以结论就是像2楼说的 以後每个人手机都可以养chobits
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.167.67.11 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/C_Chat/M.1786407342.A.E6F.html
※ 编辑: attacksoil (223.137.21.73 台湾), 08/11/2026 08:18:36
1F：→ skyofme: 因为开源只要有人想做就能做，所以你只关心特定功能，开08/11 08:20
2F：→ skyofme: 源的进度可能会比较快08/11 08:20
3F：→ skyofme: 没开的就只能看维护的人选择怎麽做08/11 08:21
4F：→ nineflower: 再过5年 手机可能都能安装大型本地模型了08/11 08:30
※ 编辑: attacksoil (223.137.21.73 台湾), 08/11/2026 08:33:01
5F：→ jakai: 应该说手机上跑的模型会越来越聪明，知识纯量还是会受限 08/11 08:37
6F：→ error405: 弄出超强大模型 再用它做小模型 08/11 08:51
7F：→ error405: Qwen gemma4 还有最近祖克伯出的都是这样 08/11 08:51
8F：推 jupto: 手机有联网能力干嘛本地跑模型？ 这个需求应该会更倾向於在 08/11 08:54
9F：→ jupto: 车载或无人机这种无法保证联网稳定又有即时需求的终端上 08/11 08:54
10F：→ error405: 总是有些私人需求 对阿 08/11 08:57
11F：→ nineflower: 8F.....你这问题天真到不知道该如何回答 08/11 09:00
12F：→ jupto: 我觉得与其发展手机跑的本地模型 应该会发展成厂商直接提 08/11 09:01
13F：→ jupto: 供线上的高隐私模型 08/11 09:01
14F：→ skyofme: 连回自家本地比较合理就是了 08/11 09:01
15F：→ nineflower: 你这问题把手机换成电脑就能得到答案了 08/11 09:02
16F：→ skyofme: 真的能在手机本地部署大概也割了蛮多能力的 08/11 09:02
17F：→ skyofme: 线上服务目前就一个问题你有没有比较敏感的需求 08/11 09:04
18F：→ labbat: 手机AI修图已经落後了，影片锐利化也是，现在是AI助理 08/11 09:05
19F：推 nineflower: 至少本地能省钱 等这一波AI大逃杀结束 活下来的可以任 08/11 09:06
20F：→ nineflower: 意涨价 想了就可怕 08/11 09:06
21F：→ skyofme: 不讨论犯刑法的，有版权议题的就很难保证稳定 08/11 09:06
22F：→ jupto: 就算有敏感需求 也能靠保密契约或是加密技术保证敏感资讯 08/11 09:08
23F：→ jupto: 的安全 因为这个需求去阉割性能不划算 08/11 09:08
24F：推 kalen123: 你手机不发展本地模型，在摄影、拍照、翻译等对即时性 08/11 09:08
25F：→ kalen123: 要求极高的需求时要怎办？你等的起那几秒？在网路未普 08/11 09:08
26F：→ kalen123: 及的国家、或根本没讯号，或因为人太多网路壅挤的地区 08/11 09:08
27F：→ kalen123: 怎办？ 08/11 09:08
28F：→ jupto: 本地省钱就完全看你性能要求跟不跟的上时代了 人家数据中 08/11 09:12
29F：→ jupto: 心的成本摊提比你本地架有优势多了 跟着时代浪潮的性能需求 08/11 09:12
30F：→ jupto: 你拼不过那些巨头 08/11 09:12
31F：→ qss05: 手机还是先解决电池的问题吧，还没用模型就已经不够用了， 08/11 09:16
32F：→ qss05: 一堆人说什麽他可以手机用两天，那根本没在用吧，以後跑模 08/11 09:16
33F：→ qss05: 型，干什麽都像玩手游的，能用半天就偷笑了 08/11 09:16
34F：→ skyofme: 只能说面向很多，需求也很多 08/11 09:18
35F：→ qss05: 而且你跑本地更吃更新跟厂商优化，以後小牌又要死一遍，大 08/11 09:18
36F：→ qss05: 牌搞不好都收订阅费 08/11 09:18
37F：→ jupto: 摄影、拍照、翻译这种早就有堪用的解方 发展本地AI模型完 08/11 09:19
38F：→ jupto: 全就是顺便买噱头而已 08/11 09:19
39F：→ pikachu2421: 本地:可以色色 线上:不能色色 08/11 09:48
40F：推 nwkasim: 8F好天真，你觉得想画什麽图厂商的AI都会让你画？哪天说 08/11 10:33
41F：→ nwkasim: 禁止生成他认为的未满18岁人物，你也拿他没辄 08/11 10:33
42F：→ gbcg9725: 本地Minimax真香 08/11 11:16
43F：→ gbcg9725: 线上贵死挡东挡西 08/11 11:16
44F：→ gbcg9725: 不过我不觉得手机跑的起来本地就是 08/11 11:17
45F：→ jupto: 首先手机跑模型不等於本地跑模型 二来架一个本地跑模型的电 08/11 11:28
46F：→ jupto: 脑要多少钱能跑的模型跟不跟的上技术迭代这些都是考量因素 08/11 11:28
47F：→ jupto: 当然如果你的口袋深到能随时盖一座数据中心自己养模型肯定 08/11 11:31
48F：→ jupto: 最自由 问题是一般人行吗？ 08/11 11:31
49F：→ necrophagist: 模型量化参数量不变 100B量化还是100B 量化的是每 08/11 12:08
50F：→ necrophagist: 个参数储存的精度 粗略譬喻就是圆周率你可以存成小 08/11 12:08
51F：→ necrophagist: 数後32位或直接存成3.14 量化通常只会更快 除非你 08/11 12:08
52F：→ necrophagist: 硬体软体不支援使用的量化方式 闭源模型也都在量化 08/11 12:08
53F：→ necrophagist: 一些新模型刚出很聪明後面变笨就是厂商换成高度量 08/11 12:08
54F：→ necrophagist: 化版本的来省运行成本/服务更多人 08/11 12:08
55F：→ bluejark: 不是喔 模型大不代表慢 只是你的硬体跑不动 08/11 19:46
56F：→ bluejark: 大模型训练出来因为训练的问题会出现一些不重要的东西 08/11 19:51
57F：→ bluejark: 所以可以去找出哪些是可以精简的 08/11 20:03
58F：→ bluejark: 还有就是设计给多gpu跑的 个人电脑用不到 08/11 20:04
59F：→ bluejark: 量化有几个方法 通常会有所劣化 但到一般能接受就好程度 08/11 20:05