作者cake51640 (uuuu4ni)
看板C_Chat
标题[闲聊] 为什麽开源模型对硬体的要求可以降低
时间Tue Aug 11 07:36:15 2026
嗨嗨
阿肥在想
之前开源模型
可能都要16g 才能用
後来开始有8g能跑的版本
为什麽呢
有木有挂
分享分享
-----
Sent from JPTT on my iPhone
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.9.196.66 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/C_Chat/M.1786404977.A.EA5.html
1F：→ syldsk: 会有一堆人一直去改良啊 08/11 07:36
2F：推 ayuhb: 因为跑不动的人会去改 08/11 07:42
3F：→ spfy: 量化 08/11 07:45
4F：→ EXIONG: 资本家不喜欢这种事 08/11 07:49
5F：→ Satoman: gguf 08/11 07:49
6F：嘘 extemjin: ACG点? 量化跟多模化，现在开源模型都趋向MOE， 08/11 07:50
7F：推 Xpwa563704ju: 因为现在AI进步很快 08/11 07:51
8F：→ Xpwa563704ju: 就三楼讲得量化，模型有改小 08/11 07:53
9F：→ extemjin: 每次处理只需要载入部分，再烂的电脑都可以执行，差在 08/11 07:53
10F：→ extemjin: 快慢 08/11 07:53
11F：推 tsunamimk2: 你说的是什麽模型啊 开不开源都是因为有作量化 压缩 08/11 07:53
12F：→ tsunamimk2: 但那个号称能用其实没算上context长度限制喔 08/11 07:53
13F：推 roger840410: 市售车为什麽比F1省油？ 08/11 07:56
14F：→ tsunamimk2: 还有开不开源都是资本家养的 因为模型本身没啥好藏私 08/11 07:57
15F：→ tsunamimk2: 本质上那就是一个超大的知识索引 真正能卖的是前後处 08/11 07:57
16F：→ tsunamimk2: 理工程的调教 还有规模 16G vram能跑啊 但context可能 08/11 07:57
17F：→ tsunamimk2: 只有几千字 还要用上外在的辅助去记忆 我自己家里一张 08/11 07:58
18F：→ tsunamimk2: 5070ti 16G 拿来推理与日常维护用短script生成 稍微大 08/11 07:58
19F：→ tsunamimk2: 的前处理要用上64GB 的Mac mini 08/11 07:58
20F：推 catmeat777: 拉屎菌就很耗油啊 08/11 07:58
21F：→ tsunamimk2: 真正的大文本整个专案还是要丢给Claude max pro才够 08/11 07:59
22F：→ tsunamimk2: 我还得自己搞pgvector做rag 08/11 07:59
23F：→ tsunamimk2: 最近线代抽象代数都在复习就是为了这个 08/11 08:01
24F：→ tsunamimk2: LLM如果不是整个多层矩阵都载入vram 光是用上原始记忆 08/11 08:03
25F：→ tsunamimk2: 体的资料搬移就会让速度慢到无法接受了 基本上不可能 08/11 08:04
26F：→ tsunamimk2: 部分载入 靠的是量化缩短单位资料量 08/11 08:04
27F：嘘 KyuubiKulama: 洽点 08/11 08:23
28F：嘘 nineflower: 第一没点 第二有AI版 第三未来本地模型会像洛克人EXE 08/11 08:28
29F：→ nineflower: 一样 每个人的手机都有个人化AI 08/11 08:28
30F：嘘 jack90352: Acg 点在哪 08/11 08:44
31F：→ error405: 有AI版... 08/11 08:52
32F：→ david31476: 没关系过没几天就会出现几篇Ai是否可以取代谁的文章 08/11 09:17
33F：推 GenShoku: 没有context就只是玩具 塞得下跟能做事是两回事 08/11 09:34
34F：嘘 bladesinger: 洽点 08/11 09:42
35F：嘘 necrophagist: 有ai版 08/11 10:07
36F：嘘 asdfg0612: 点 ? 08/11 10:16
37F：嘘 OgamiIchiro: 滚 08/11 12:15