作者cake51640 (uuuu4ni)
看板C_Chat
標題[閒聊] 為什麼開源模型對硬體的要求可以降低
時間Tue Aug 11 07:36:15 2026
嗨嗨
阿肥在想
之前開源模型
可能都要16g 才能用
後來開始有8g能跑的版本
為什麼呢
有木有掛
分享分享
-----
Sent from JPTT on my iPhone
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.9.196.66 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/C_Chat/M.1786404977.A.EA5.html
1F：→ syldsk: 會有一堆人一直去改良啊 08/11 07:36
2F：推 ayuhb: 因為跑不動的人會去改 08/11 07:42
3F：→ spfy: 量化 08/11 07:45
4F：→ EXIONG: 資本家不喜歡這種事 08/11 07:49
5F：→ Satoman: gguf 08/11 07:49
6F：噓 extemjin: ACG點? 量化跟多模化，現在開源模型都趨向MOE， 08/11 07:50
7F：推 Xpwa563704ju: 因為現在AI進步很快 08/11 07:51
8F：→ Xpwa563704ju: 就三樓講得量化，模型有改小 08/11 07:53
9F：→ extemjin: 每次處理只需要載入部分，再爛的電腦都可以執行，差在 08/11 07:53
10F：→ extemjin: 快慢 08/11 07:53
11F：推 tsunamimk2: 你說的是什麼模型啊 開不開源都是因為有作量化 壓縮 08/11 07:53
12F：→ tsunamimk2: 但那個號稱能用其實沒算上context長度限制喔 08/11 07:53
13F：推 roger840410: 市售車為什麼比F1省油？ 08/11 07:56
14F：→ tsunamimk2: 還有開不開源都是資本家養的 因為模型本身沒啥好藏私 08/11 07:57
15F：→ tsunamimk2: 本質上那就是一個超大的知識索引 真正能賣的是前後處 08/11 07:57
16F：→ tsunamimk2: 理工程的調教 還有規模 16G vram能跑啊 但context可能 08/11 07:57
17F：→ tsunamimk2: 只有幾千字 還要用上外在的輔助去記憶 我自己家裡一張 08/11 07:58
18F：→ tsunamimk2: 5070ti 16G 拿來推理與日常維護用短script生成 稍微大 08/11 07:58
19F：→ tsunamimk2: 的前處理要用上64GB 的Mac mini 08/11 07:58
20F：推 catmeat777: 拉屎菌就很耗油啊 08/11 07:58
21F：→ tsunamimk2: 真正的大文本整個專案還是要丟給Claude max pro才夠 08/11 07:59
22F：→ tsunamimk2: 我還得自己搞pgvector做rag 08/11 07:59
23F：→ tsunamimk2: 最近線代抽象代數都在複習就是為了這個 08/11 08:01
24F：→ tsunamimk2: LLM如果不是整個多層矩陣都載入vram 光是用上原始記憶 08/11 08:03
25F：→ tsunamimk2: 體的資料搬移就會讓速度慢到無法接受了 基本上不可能 08/11 08:04
26F：→ tsunamimk2: 部分載入 靠的是量化縮短單位資料量 08/11 08:04
27F：噓 KyuubiKulama: 洽點 08/11 08:23
28F：噓 nineflower: 第一沒點 第二有AI版 第三未來本地模型會像洛克人EXE 08/11 08:28
29F：→ nineflower: 一樣 每個人的手機都有個人化AI 08/11 08:28
30F：噓 jack90352: Acg 點在哪 08/11 08:44
31F：→ error405: 有AI版... 08/11 08:52
32F：→ david31476: 沒關係過沒幾天就會出現幾篇Ai是否可以取代誰的文章 08/11 09:17
33F：推 GenShoku: 沒有context就只是玩具 塞得下跟能做事是兩回事 08/11 09:34
34F：噓 bladesinger: 洽點 08/11 09:42
35F：噓 necrophagist: 有ai版 08/11 10:07
36F：噓 asdfg0612: 點 ? 08/11 10:16
37F：噓 OgamiIchiro: 滾 08/11 12:15