最近在想一個跟原po類似的問題 剛好也跟 AI 討論了一陣子，整理成一些自己的觀察 先拋結論： 這不太像什麼已經被設計好的套路，比較像是「科技樹還沒點到那裡」 目前 AI 發展其實有兩條很明顯的趨勢在同時發生： 一個是大模型持續變強，但邊際效益開始下降 模型變大還是會變強，但提升的幅度，跟投入的算力、成本相比，沒有以前那麼划算 另一個是小模型越來越強 透過 distillation、quantization，還有針對特定任務優化 小模型其實已經可以 cover 很多實用場景 所以就出現一個有趣的可能性： 未來「訓練大模型」這件事，可能還是只會集中在少數幾間大公司手上 但「推理」這件事，不一定需要一直依賴超大模型 有沒有可能變成 把任務拆開，交給多個小模型，在不同裝置上協作完成？ 這個概念其實有點像公司運作： 公司不會全部都請通才，而是不同領域的專才組成不同 team，一起把事情完成 對應到模型也是一樣： 現在的大模型，其實有點像把各種能力（語言、邏輯、知識）全部塞在一起 但理論上，這些能力是可以被拆分、模組化的 問題就出在一個關鍵點：latency（延遲） 如果是一個大模型，你問問題，它可以一次 forward 就給答案 但如果是多個小模型協作，就會變成： 模型 A → 模型 B → 模型 C 中間需要傳遞資訊、同步狀態，甚至「討論」 這個過程的延遲，如果太高，就完全不可行 所以我現在的理解是： 未來架構會不會改變，關鍵不在模型大小，而在 latency 能不能壓下來 如果有一天： - 裝置間通訊延遲大幅下降（硬體 / network） - 模型之間的協作機制變成熟（software / protocol） 那多小模型協作，才有可能真的落地 到那個時候，整個生態可能會有一些變化： - GPU / memory 還是很重要，但需求不一定是「無限膨脹」 - 能源問題也可能被部分緩解（因為計算被分散） - 邊緣裝置（手機、桌機、筆電、車機、甚至穿戴裝置）的算力不再閒置 現在其實是： 我們在用雲端 server 跑 AI， 但身邊一堆裝置的算力都是閒置的 未來有沒有可能變成： 這些裝置一起參與推理，變成一種分散式 AI？ 當然，這條路現在還卡在 latency、穩定性、還有系統複雜度，但我相信已經有人在研究了 所以短期內，大模型 + 雲端還是主流 但如果這些問題被解掉，現在這種「集中式算力 + 超大模型」的模式，未必是唯一解 大概就是這樣，算是一點還沒成熟的想法，拋出來看看大家怎麼想 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.168.146.181 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1774141163.A.E2A.html