最近在想一个跟原po类似的问题 刚好也跟 AI 讨论了一阵子，整理成一些自己的观察 先抛结论： 这不太像什麽已经被设计好的套路，比较像是「科技树还没点到那里」 目前 AI 发展其实有两条很明显的趋势在同时发生： 一个是大模型持续变强，但边际效益开始下降 模型变大还是会变强，但提升的幅度，跟投入的算力、成本相比，没有以前那麽划算 另一个是小模型越来越强 透过 distillation、quantization，还有针对特定任务优化 小模型其实已经可以 cover 很多实用场景 所以就出现一个有趣的可能性： 未来「训练大模型」这件事，可能还是只会集中在少数几间大公司手上 但「推理」这件事，不一定需要一直依赖超大模型 有没有可能变成 把任务拆开，交给多个小模型，在不同装置上协作完成？ 这个概念其实有点像公司运作： 公司不会全部都请通才，而是不同领域的专才组成不同 team，一起把事情完成 对应到模型也是一样： 现在的大模型，其实有点像把各种能力（语言、逻辑、知识）全部塞在一起 但理论上，这些能力是可以被拆分、模组化的 问题就出在一个关键点：latency（延迟） 如果是一个大模型，你问问题，它可以一次 forward 就给答案 但如果是多个小模型协作，就会变成： 模型 A → 模型 B → 模型 C 中间需要传递资讯、同步状态，甚至「讨论」 这个过程的延迟，如果太高，就完全不可行 所以我现在的理解是： 未来架构会不会改变，关键不在模型大小，而在 latency 能不能压下来 如果有一天： - 装置间通讯延迟大幅下降（硬体 / network） - 模型之间的协作机制变成熟（software / protocol） 那多小模型协作，才有可能真的落地 到那个时候，整个生态可能会有一些变化： - GPU / memory 还是很重要，但需求不一定是「无限膨胀」 - 能源问题也可能被部分缓解（因为计算被分散） - 边缘装置（手机、桌机、笔电、车机、甚至穿戴装置）的算力不再闲置 现在其实是： 我们在用云端 server 跑 AI， 但身边一堆装置的算力都是闲置的 未来有没有可能变成： 这些装置一起参与推理，变成一种分散式 AI？ 当然，这条路现在还卡在 latency、稳定性、还有系统复杂度，但我相信已经有人在研究了 所以短期内，大模型 + 云端还是主流 但如果这些问题被解掉，现在这种「集中式算力 + 超大模型」的模式，未必是唯一解 大概就是这样，算是一点还没成熟的想法，抛出来看看大家怎麽想 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.168.146.181 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1774141163.A.E2A.html