有啊 你這個方向請參照"垂直整合AI" 和關鍵字Orchestration Layer 白話點就是agent + orchestration + protocol MCP這個協定很快就會拓展成 Ai agent (Cloud) <---Protocol--> Ai agent (local)協作 現在大廠 狗家和其他家都在搞protocol如何讓本地雲端去溝通其他agent 你也可以參照Fireworks AI這家公司 他們有在做這類小模型優化 創辦人是一票meta 開發pytorch的人 他們擁有pytorch優化的秘密技術 因此他們可以幫忙打造這些本地端優化 適用於以後系統協作 現在一堆垂直AI公司整合就是這樣幹....2028-2030 絕對會有大量失業潮 多虧上面這些現在瘋狂發展的 天網也大概快出現 -- 然後老黃想得更遠 所以提了AI五層蛋糕論 2026捲的速度已經讓我快吐了... ※ 引述《cosmo7897 (普萊兒)》之銘言： : 最近在想一個跟原po類似的問題 : 剛好也跟 AI 討論了一陣子，整理成一些自己的觀察 : 先拋結論： : 這不太像什麼已經被設計好的套路，比較像是「科技樹還沒點到那裡」 : 目前 AI 發展其實有兩條很明顯的趨勢在同時發生： : 一個是大模型持續變強，但邊際效益開始下降 : 模型變大還是會變強，但提升的幅度，跟投入的算力、成本相比，沒有以前那麼划算 : 另一個是小模型越來越強 : 透過 distillation、quantization，還有針對特定任務優化 : 小模型其實已經可以 cover 很多實用場景 : 所以就出現一個有趣的可能性： : 未來「訓練大模型」這件事，可能還是只會集中在少數幾間大公司手上 : 但「推理」這件事，不一定需要一直依賴超大模型 : 有沒有可能變成 把任務拆開，交給多個小模型，在不同裝置上協作完成？ : 這個概念其實有點像公司運作： : 公司不會全部都請通才，而是不同領域的專才組成不同 team，一起把事情完成 : 對應到模型也是一樣： : 現在的大模型，其實有點像把各種能力（語言、邏輯、知識）全部塞在一起 : 但理論上，這些能力是可以被拆分、模組化的 : 問題就出在一個關鍵點：latency（延遲） : 如果是一個大模型，你問問題，它可以一次 forward 就給答案 : 但如果是多個小模型協作，就會變成： : 模型 A → 模型 B → 模型 C : 中間需要傳遞資訊、同步狀態，甚至「討論」 : 這個過程的延遲，如果太高，就完全不可行 : 所以我現在的理解是： : 未來架構會不會改變，關鍵不在模型大小，而在 latency 能不能壓下來 : 如果有一天： : - 裝置間通訊延遲大幅下降（硬體 / network） : - 模型之間的協作機制變成熟（software / protocol） : 那多小模型協作，才有可能真的落地 : 到那個時候，整個生態可能會有一些變化： : - GPU / memory 還是很重要，但需求不一定是「無限膨脹」 : - 能源問題也可能被部分緩解（因為計算被分散） : - 邊緣裝置（手機、桌機、筆電、車機、甚至穿戴裝置）的算力不再閒置 : 現在其實是： : 我們在用雲端 server 跑 AI， : 但身邊一堆裝置的算力都是閒置的 : 未來有沒有可能變成： : 這些裝置一起參與推理，變成一種分散式 AI？ : 當然，這條路現在還卡在 latency、穩定性、還有系統複雜度，但我相信已經有人在研究了 : 所以短期內，大模型 + 雲端還是主流 : 但如果這些問題被解掉，現在這種「集中式算力 + 超大模型」的模式，未必是唯一解 : 大概就是這樣，算是一點還沒成熟的想法，拋出來看看大家怎麼想 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1774143091.A.AED.html