※ 引述《minazukimaya (水無月真夜)》之銘言： : ※ 引述《LDPC (Channel Coding)》之銘言： : : @@我是不知道其他世界線 我們公司有引入各種AI Tool : : 比方說在slack 我要開一個data bucket權限 (公司機密資料 權限最高級那種) : : 來測試我新模型 然後我就slack打serval (IT機器人公司方案) : : 他就開始一步步核對 然後最後一步還跟我說有各種data access 時間限制 : : 然後就幫我設定好 然後最一關簽呈就是人類IT 這些步驟效率超越傳統IT很多 : : 隨時都可以叫IT機器人幫我處理各種事情 前置作業大量弄好 只要一兩個人類做最後確認 : : 同樣的 我在openai企業版(有專門設計給企業版) 這個整合內部公司所有文件資料 : : 有一次我要設計模型 我就問這方面模型有誰設計過 結果他就拉出過去 : : 三年各種歷史設計報個 還有各種benchmark 因為openai企業版可以整合公司資料庫 : : 一下子我就能站在過去歷史巨人 不需要去問哪個部門之前幹過啥 : : ai coding現在最大用途就是寫測試工具 真他x的好用 設計模型完之後 叫ai幫我寫 : : script去做下游端大量測試 : : 其他ai tool還有infenrece端可以直接調用prompt和觀察模型反應 以及notion : : 這種線上報告也引用自家ai tool 快速搜尋資料都挺方便 : : 然後我們自己設計給下游顧客的ai tool 如果顧客說他工作時間沒縮短 : : 那我們就拿不下訂單 現在垂直整合領域已經殺到紅血 每個tool 越蓋越先進QQ : : 我好想躺平 已經每天工時飆到16hr....... 改天再寫寫去NeurIPS看到的跡象 : : Hinton/Jeff Dean/Yoshua Bengio/何凱明 任何你知道大神都去這今年NeurIPS : : 結論就是大廠真的要幹架了 Google DeepMind新政策 禁止發paper : : QQ 不發paper延伸意義就是 現在開始 狗家不會在開放他們自家模型設計秘密 : : 目標就是要胖揍開放愛和其他競爭者... : : 目前狗家大量研究員生氣中 這次還有很多菁英邀請制度線下聚會 跑去蹭了NV/META : : 看到一堆海外的博士生在現場跪求進去Meta 線下聚會.......QQ : : 據說開放愛線下聚會是最難進去的 連地點和門路在哪都不知 只能被動邀請 : 沒關係，偷偷告訴你一個Insight : 今年NeurIPS 2025有一篇超重量級的論文 : Introducing Nested Learning : 這篇文論的重要程度不亞於Attention is all you need : 甚至可以說有過之而無不及 : Transfomer架構只是發明了蒸氣機 : Nested Learning這篇論文，簡直就是熱力學定律的等級了 : 基本上等於宣告Transformer架構過時了(因為是一種扁平和單一頻率的特例) : 未來三到五年，全面轉向Nested Learning的時代 : 以下文字是我先寫一版，再請Gemini潤稿的洞察 : --------這是AI潤稿的分隔線-------- : 當前 AI 發展正受制於一道物理鐵律：記憶體牆（Memory Wall）。傳統 Transformer 架 : 構依賴 KV Cache 維持上下文，這本質上是一種「以頻寬換取長度」的低效策略。隨 : 著上下文長度 T 的增加，Attention 機制的計算複雜度呈 O(T^2) 增長，而推論時 : 的記憶體搬運量呈 O(T) 線性增長。在 HBM 頻寬成長遠落後於 GPU 算力的現狀下，這 : 種依賴儲存大量未經壓縮原始狀態的架構，註定會從 Compute-Bound 跌落至 IO-Bound : 的深淵。 : Nested Learning 的出現，透過對記憶與推理本質的重新理解，為此困境帶來了典範轉移 : 級別的解答。 : 其核心突破在於「推論即訓練」的數學創新——Nested Learning 揭示了 : Attention 機制在本質上等價於單步的梯度下降更新。基於此，HOPE 架構不再被動地檢 : 索歷史，而是主動將資訊即時壓縮為模型權重。這將原本受限於頻寬的檢索問題，轉化為 沒吹的那麼神奇 這個東西在中國大陸有個叫彭博的推廣了好多年了 也就是rwkv，既然是上下文提要壓縮，是一種有損壓縮，就更和人類思維模式近似，更失去了超越人類agi誕生的可能性，成為垂直領域慢慢調教的一種方式 我還是認為ai首先要解決意識的模擬和情感模式的構建 這樣可以不光是和人類這種智能體更好溝通，更深入理解視頻音樂圖畫的人類審美痛點在哪里 股點，這波甲骨文 博通 meta的一系列鬼故事，市場不盤整三天不可能了 : 僅需固定算力的狀態更新問題，從根本上粉碎了記憶體牆。 : 在應用層面，這種架構徹底重塑了 AI 的個性化能力。HOPE 的動態記憶機制（Fast : Weights） 不再依賴傳統模型那種外掛式的提示詞（Prompting）來「模擬」短期記憶， : 而是透過梯度更新，將使用者的偏好與習慣即時「內化」為模型參數的一部分。這不 : 僅在工程上根除了重複處理提示詞的算力浪費，更在體驗上創造出具備「演化能力」的專 : 屬模型，讓 AI 隨著每一次互動變得更懂你。 : 這一變革預示著當前 HBM 需求高速增長的趨勢將顯著放緩，技術改革的方向將轉向針對 : 不同更新層級的硬體特化： : 邊緣裝置 (Edge)： 承載高頻更新的快層，將不再單純追求頻寬，而是轉向追求大容量 : SRAM 與極致的能效比，以支撐毫秒級的狀態寫入與計算。 : 雲端中心 (Cloud)： 承載低頻更新的慢層，為了處理更複雜的邏輯推理與龐大的智能結 : 構，將演化出針對非歐幾何的特化運算單元，以在雙曲空間中實現更高維度的高效推理。 : ----------這是AI潤稿的分隔線----------- : 你各位要小心HBM市場在2026年末的崩潰反轉 : 短期因為各種高頻信號，還是會持續推高HBM的市場價格 : 然後記憶體因為這些需求訊號，會瘋狂擴廠 : 等到「基於超大KV Cache的Transfomer架構」路徑依賴崩潰 : 新架構全面轉向HOPE的時侯 : 嘻嘻 刺激囉~~~ --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.52.229.114 (中國) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1765591743.A.3DA.html