有啊 你这个方向请参照"垂直整合AI" 和关键字Orchestration Layer 白话点就是agent + orchestration + protocol MCP这个协定很快就会拓展成 Ai agent (Cloud) <---Protocol--> Ai agent (local)协作 现在大厂 狗家和其他家都在搞protocol如何让本地云端去沟通其他agent 你也可以参照Fireworks AI这家公司 他们有在做这类小模型优化 创办人是一票meta 开发pytorch的人 他们拥有pytorch优化的秘密技术 因此他们可以帮忙打造这些本地端优化 适用於以後系统协作 现在一堆垂直AI公司整合就是这样干....2028-2030 绝对会有大量失业潮 多亏上面这些现在疯狂发展的 天网也大概快出现 -- 然後老黄想得更远 所以提了AI五层蛋糕论 2026卷的速度已经让我快吐了... ※ 引述《cosmo7897 (普莱儿)》之铭言： : 最近在想一个跟原po类似的问题 : 刚好也跟 AI 讨论了一阵子，整理成一些自己的观察 : 先抛结论： : 这不太像什麽已经被设计好的套路，比较像是「科技树还没点到那里」 : 目前 AI 发展其实有两条很明显的趋势在同时发生： : 一个是大模型持续变强，但边际效益开始下降 : 模型变大还是会变强，但提升的幅度，跟投入的算力、成本相比，没有以前那麽划算 : 另一个是小模型越来越强 : 透过 distillation、quantization，还有针对特定任务优化 : 小模型其实已经可以 cover 很多实用场景 : 所以就出现一个有趣的可能性： : 未来「训练大模型」这件事，可能还是只会集中在少数几间大公司手上 : 但「推理」这件事，不一定需要一直依赖超大模型 : 有没有可能变成 把任务拆开，交给多个小模型，在不同装置上协作完成？ : 这个概念其实有点像公司运作： : 公司不会全部都请通才，而是不同领域的专才组成不同 team，一起把事情完成 : 对应到模型也是一样： : 现在的大模型，其实有点像把各种能力（语言、逻辑、知识）全部塞在一起 : 但理论上，这些能力是可以被拆分、模组化的 : 问题就出在一个关键点：latency（延迟） : 如果是一个大模型，你问问题，它可以一次 forward 就给答案 : 但如果是多个小模型协作，就会变成： : 模型 A → 模型 B → 模型 C : 中间需要传递资讯、同步状态，甚至「讨论」 : 这个过程的延迟，如果太高，就完全不可行 : 所以我现在的理解是： : 未来架构会不会改变，关键不在模型大小，而在 latency 能不能压下来 : 如果有一天： : - 装置间通讯延迟大幅下降（硬体 / network） : - 模型之间的协作机制变成熟（software / protocol） : 那多小模型协作，才有可能真的落地 : 到那个时候，整个生态可能会有一些变化： : - GPU / memory 还是很重要，但需求不一定是「无限膨胀」 : - 能源问题也可能被部分缓解（因为计算被分散） : - 边缘装置（手机、桌机、笔电、车机、甚至穿戴装置）的算力不再闲置 : 现在其实是： : 我们在用云端 server 跑 AI， : 但身边一堆装置的算力都是闲置的 : 未来有没有可能变成： : 这些装置一起参与推理，变成一种分散式 AI？ : 当然，这条路现在还卡在 latency、稳定性、还有系统复杂度，但我相信已经有人在研究了 : 所以短期内，大模型 + 云端还是主流 : 但如果这些问题被解掉，现在这种「集中式算力 + 超大模型」的模式，未必是唯一解 : 大概就是这样，算是一点还没成熟的想法，抛出来看看大家怎麽想 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1774143091.A.AED.html