Nested Learning 的工程实例是 HOPE ，HOPE有分快系统跟慢系统两部分 快系统应用Titan model 慢系统应用了CMS(连续体记忆系统) 现成硬体来说，最适合跑整个HOPE的是GPU，虽然也很勉强，NL流行後， GPU会针对这个改版 不过单独CMS的部分，跟现有的LLM是相容的，model架构不变，可以拿训练好 的权重接套用CMS 即使如此，谷歌应该也没很大的动机现在就把CMS套用到Gemini3上 ※ 引述《curiserosi ()》之铭言： : 小弟不才，关於技术的部份看不懂 : 但还是想请教 : 1.现有transfomer架构因为需要死背硬记，所以需要超大规模记忆体 : 来对应长文本、图像，甚至影片，到长影片所需的记忆体规模已经 : 不具备实际可行性或是没有经济价值 : 这部分Nested Learning具备绝对优势，面对长文本、图像，甚至长影片 : 对记忆体的需求成长可控 : 2.Nested Learning具备持续学习的能力，这点是transformer不具备的 : 基於以上两点，即使现在还有很多缺点，未来也绝对有Nested Learning : 的一席之地(因为transformer在这些地方的劣势是结构性的，无法改变) : 请问我这理解有没有哪边有问题？ : 如果未来Nested Learning大规模布署，在产业面上的影响 : 1.SRAM的需求会大幅增加，Nested Learning需要的不是大量的HBM来记忆 : 而是需要能快速响应的SRAM来对应CMS 照原PO的说法应该是如此，不过我不认为是这样 我觉得用量增加最多的应该是DRAM，甚至是其他更慢的记忆体 你可以想，如果每个人的输入都让model更新参数，那云端要保留多少个model? 这些model的参数都用最贵的SRAM？这太不现实了 而且如果更新参数只要针对个别用户，多速记忆体的响应速度都够快了，到时需 求的容量才会是关键，毕竟要服务太多用户了 如果只是把CMS套用在现有的LLM上 HBM的需求基本应该维持跟现在差不多 : 2.算力的需求暴增，相比现在的transformer是卡在记忆体数量与频宽 : Nested Learning因为需要Backward Pass，需要的是数倍的算力 是的，NL 比较适合用GPU跑，但要跑得好，GPU也得针对性的重新设计 : 3.由上面两点推测，封装需求也会改变，HBM+GPU的封装需求成长减缓 : 如CoWoS，相对的interposer、载板也不需要那麽大，所以这些产业 : 成长会放缓 : 我脑容量不够，这是我想像力的极限了 : 什麽双曲空间已经超出我认知范围 : 不过还是想问一下我这样理解有没有什麽问题 : 感谢 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.150.246.41 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1765651058.A.74F.html