从AI晶片来说 基本上算力效率跟记忆体就是大趋势 存算一体就是一个主轴 所以可以买HBM/算力小队/台G 我基本上就是这样干 这篇就类似之前的Mamba这类型paper 就是希望能取代Transformer 但当训练到 大资料量时 这类型模型就是没办法很好的scalable 当大量资料套上时 优势就消失 像这篇只训练到最高1.3B模型 100B tokens 对比transforerm动辄>10B 8T>tokens 这篇分数 https://openreview.net/forum?id=nbMeRvNb7A 整体评价就是: Borderline accept 海力士跟台积跟NVDA基本上不太可能会买错了 其他算力小队AMD/AVGO可以加减买 应用端那边大概两年後会有一堆公司上来 我个人觉得接下来五年应该会陆续看到 有趣东西 而那天如果来到的话 至上能靠买股要对冲一些产业上改变的经济冲击 类似迹象你可以看这个 https://unwire.pro/2025/12/03/aws-ai-frontier/ai/ 最主要核心概念是 以前我们在处理任何事情 受限资料型态或者产业 需要理解一些专业术语 或者理解如何操作资料 都是必须要从一个庞大乱序的资料 找到我们的需求 而现在这些对资料理解方式 可以改成用 "自然语言去操作" 可以想成是一个简单统一方式来面临现实世界庞大资讯操作 举个例子 以前在公司 我如果需要一些IT support 我可能得先想好去找哪个IT支援 如果是GPU cluster坏了 写单子给处理gpu cluster 有时候我想开一个H100 x 100 使用 写了request给IT说 他可能会 要你得先去跟某某 ai infra team得到许可 於是我针对该infra team 申请许可 他会回信说你得要提供现在做project代号 我们得看你是跟哪个business product部门 我们要知道他们finance budget code 这套流程跑下来 大概就是两个礼拜 因为所有一来一往都是人类 对方有时在忙别的 回复可能是几个小时 或者他们那边要核对 因为他们也是这样处理全公司IT request 所以不可能即时 然後他们也得找到对应上层拿权限 现在有AI代理人(Agent) 任何事情就是自然语言操作 你不用去花时间找对窗口 也不用花时间研究怎样申请流程 你就单纯跟他说你要啥 比方你对serval 这家公司出的IT代理人 Me:我要H100x100 AI(Serval): 你是要用在产品inference还是training? Me:training AI: 你这是foundamental research 还是prodouct开发? Me:prdouct AI: 好的 你优先级别会是P0 能写一下你的product细节吗 Me: 猎户座Project ,counter part负责人是 xxxx AI: 好的 表格已经填好 你需要多少时间? 10T 储存够用吗 需要多少个Bucket? Me: 10T ok, 5个1T bucket, AI:好的 我已经把所有对应表格填好 送出中 一个小时後 人类IT, Infra老大 都在表格上签呈打个勾 AI: 你现在拥有3个月H100x100 存取cluster 路径如下 一个月後 h100 崩了 凌晨三点: 我打开slack介面 对AI:诶 GPU cluster崩了 帮我想想办法 多拉a梦 QQ AI:我帮你看一下 好的 某些node的确不稳 基於你有P0等级 我帮你换到另一个node 凌晨四点 得到一个健康的node Me: 谢谢你 多拉a梦 QQ 对比以前我还得去花几分钟看表格怎样填 送给哪个team request 繁琐变得简单话 AI-IT公司介绍 https://reurl.cc/rKE764 这让我想到星际迷航 IV：奋勇向前 当主角群从未来回到1980 跟当地人要借用电脑时 他们一开始是用声音去操作电脑 後来1980人类说你得用键盘打字的 主角:欧欧欧欧欧 震惊样 https://www.youtube.com/watch?v=hShY6xZWVGE 我的猜测是 在接下来五年後 许多繁琐的操作不在像以前 必须理解流程 迁就系统 可以直接用自然对话 把你需求说出 而ai代理人就是那个介面 架在传统庞大企业架构 让人类可以无负担的 不需要花琐碎时间推敲是该哪个部门协调 直接把事情做完 我们下一代会用不同方式去操作资讯 AWS在美国赌城召开第14届re:Invent年会 已经展现这事情离我们不远了(around corner) 有一个demo环节是 一个业余爱好开发者 他只用一个小时 做了一个用乒乓球投进纸杯游戏 系统根据距离和不同杯子 系统会在显示板上算出数字游戏分数 然後印发折价卷促销广告 以前这类型project 你要一个懂的用computer vision写出算法 侦测球 和球掉落在那个杯子 然後一个前端写UI架构 一个後端把整个系统处理完 至少是好几天的 数个人的工时 现在你只要用自然语言 一个业余爱好者 在一个小时内 就搭出这个平台 现在许多购物网站Walmart/Amazon 开始引入自然语言 消费者不需要知道去哪 找到自己要的东西 只要说你的价钱预算 颜色 类型 代理人会帮你找到这些资讯 而人类开始用自然语言来处理任何每天琐碎事务 透过ai代理人 去接触上古时代机器资料 以前是我们得屈就这些系统的规则 理解系统 才能得到我们要的资料 现在你有多拉a梦 对他说 帮帮我 他就会帮你了 那一天来的话 你手上可能需要NV/TSM/SK Hynix/Googl/QQQ 因为财富上的累积可能也会受此影响 讲点题外话 而这也让我有时感受到如果不买股 那财富差距可能会拉更大 Blind/一亩三分地/ 都可以看到一堆人资产靠者这波科技股直接冲到10~20M美金甚至50M https://youtu.be/V_fV_g7Isy4?si=RU9CVg4eJRTDhztD 当然股票的确也在高点 但我一直觉到完全空手的是不太对 至少你可以保有30%现金 作为weather任何将来的storm -- 帮欧洲QQ 帮人类QQ ※ 引述《curiserosi ()》之铭言： : : 没关系，偷偷告诉你一个Insight : : 今年NeurIPS 2025有一篇超重量级的论文 : : Introducing Nested Learning : : 这篇文论的重要程度不亚於Attention is all you need : : 甚至可以说有过之而无不及 : : Transfomer架构只是发明了蒸气机 : : Nested Learning这篇论文，简直就是热力学定律的等级了 : : 基本上等於宣告Transformer架构过时了(因为是一种扁平和单一频率的特例) : : 未来三到五年，全面转向Nested Learning的时代 : : 以下文字是我先写一版，再请Gemini润稿的洞察 : : --------这是AI润稿的分隔线-------- : : 当前 AI 发展正受制於一道物理铁律：记忆体墙（Memory Wall）。传统 Transformer 架 : : 构依赖 KV Cache 维持上下文，这本质上是一种「以频宽换取长度」的低效策略。随 : : 着上下文长度 T 的增加，Attention 机制的计算复杂度呈 O(T^2) 增长，而推论时 : : 的记忆体搬运量呈 O(T) 线性增长。在 HBM 频宽成长远落後於 GPU 算力的现状下，这 : : 种依赖储存大量未经压缩原始状态的架构，注定会从 Compute-Bound 跌落至 IO-Bound : : 的深渊。 : : Nested Learning 的出现，透过对记忆与推理本质的重新理解，为此困境带来了典范转移 : : 级别的解答。 : : 其核心突破在於「推论即训练」的数学创新——Nested Learning 揭示了 : : Attention 机制在本质上等价於单步的梯度下降更新。基於此，HOPE 架构不再被动地检 : : 索历史，而是主动将资讯即时压缩为模型权重。这将原本受限於频宽的检索问题，转化为 : : 仅需固定算力的状态更新问题，从根本上粉碎了记忆体墙。 : : 在应用层面，这种架构彻底重塑了 AI 的个性化能力。HOPE 的动态记忆机制（Fast : : Weights） 不再依赖传统模型那种外挂式的提示词（Prompting）来「模拟」短期记忆， : : 而是透过梯度更新，将使用者的偏好与习惯即时「内化」为模型参数的一部分。这不 : : 仅在工程上根除了重复处理提示词的算力浪费，更在体验上创造出具备「演化能力」的专 : : 属模型，让 AI 随着每一次互动变得更懂你。 : : 这一变革预示着当前 HBM 需求高速增长的趋势将显着放缓，技术改革的方向将转向针对 : : 不同更新层级的硬体特化： : : 边缘装置 (Edge)： 承载高频更新的快层，将不再单纯追求频宽，而是转向追求大容量 : : SRAM 与极致的能效比，以支撑毫秒级的状态写入与计算。 : : 云端中心 (Cloud)： 承载低频更新的慢层，为了处理更复杂的逻辑推理与庞大的智能结 : : 构，将演化出针对非欧几何的特化运算单元，以在双曲空间中实现更高维度的高效推理。 : : ----------这是AI润稿的分隔线----------- : : 你各位要小心HBM市场在2026年末的崩溃反转 : : 短期因为各种高频信号，还是会持续推高HBM的市场价格 : : 然後记忆体因为这些需求讯号，会疯狂扩厂 : : 等到「基於超大KV Cache的Transfomer架构」路径依赖崩溃 : : 新架构全面转向HOPE的时侯 : : 嘻嘻 刺激罗~~~ : 小弟不才，关於技术的部份看不懂 : 但还是想请教 : 1.现有transfomer架构因为需要死背硬记，所以需要超大规模记忆体 : 来对应长文本、图像，甚至影片，到长影片所需的记忆体规模已经 : 不具备实际可行性或是没有经济价值 : 这部分Nested Learning具备绝对优势，面对长文本、图像，甚至长影片 : 对记忆体的需求成长可控 : 2.Nested Learning具备持续学习的能力，这点是transformer不具备的 : 基於以上两点，即使现在还有很多缺点，未来也绝对有Nested Learning : 的一席之地(因为transformer在这些地方的劣势是结构性的，无法改变) : 请问我这理解有没有哪边有问题？ : 如果未来Nested Learning大规模布署，在产业面上的影响 : 1.SRAM的需求会大幅增加，Nested Learning需要的不是大量的HBM来记忆 : 而是需要能快速响应的SRAM来对应CMS : 2.算力的需求暴增，相比现在的transformer是卡在记忆体数量与频宽 : Nested Learning因为需要Backward Pass，需要的是数倍的算力 : 3.由上面两点推测，封装需求也会改变，HBM+GPU的封装需求成长减缓 : 如CoWoS，相对的interposer、载板也不需要那麽大，所以这些产业 : 成长会放缓 : 我脑容量不够，这是我想像力的极限了 : 什麽双曲空间已经超出我认知范围 : 不过还是想问一下我这样理解有没有什麽问题 : 感谢 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1765648618.A.1DA.html ※ 编辑: LDPC (76.21.72.78 美国), 12/14/2025 02:03:50