作者minazukimaya (水無月真夜)
看板Stock
標題Re: [新聞] 甲骨文股價暴跌超10%！訂單積壓越來越多 「燒錢」砸AI
時間Sat Dec 13 03:06:12 2025
※ 引述《LDPC (Channel Coding)》之銘言：
: @@我是不知道其他世界線 我們公司有引入各種AI Tool
: 比方說在slack 我要開一個data bucket權限 (公司機密資料 權限最高級那種)
: 來測試我新模型 然後我就slack打serval (IT機器人公司方案)
: 他就開始一步步核對 然後最後一步還跟我說有各種data access 時間限制
: 然後就幫我設定好 然後最一關簽呈就是人類IT 這些步驟效率超越傳統IT很多
: 隨時都可以叫IT機器人幫我處理各種事情 前置作業大量弄好 只要一兩個人類做最後確認
: 同樣的 我在openai企業版(有專門設計給企業版) 這個整合內部公司所有文件資料
: 有一次我要設計模型 我就問這方面模型有誰設計過 結果他就拉出過去
: 三年各種歷史設計報個 還有各種benchmark 因為openai企業版可以整合公司資料庫
: 一下子我就能站在過去歷史巨人 不需要去問哪個部門之前幹過啥
: ai coding現在最大用途就是寫測試工具 真他x的好用 設計模型完之後 叫ai幫我寫
: script去做下游端大量測試
: 其他ai tool還有infenrece端可以直接調用prompt和觀察模型反應 以及notion
: 這種線上報告也引用自家ai tool 快速搜尋資料都挺方便
: 然後我們自己設計給下游顧客的ai tool 如果顧客說他工作時間沒縮短
: 那我們就拿不下訂單 現在垂直整合領域已經殺到紅血 每個tool 越蓋越先進QQ
: 我好想躺平 已經每天工時飆到16hr....... 改天再寫寫去NeurIPS看到的跡象
: Hinton/Jeff Dean/Yoshua Bengio/何凱明 任何你知道大神都去這今年NeurIPS
: 結論就是大廠真的要幹架了 Google DeepMind新政策 禁止發paper
: QQ 不發paper延伸意義就是 現在開始 狗家不會在開放他們自家模型設計秘密
: 目標就是要胖揍開放愛和其他競爭者...
: 目前狗家大量研究員生氣中 這次還有很多菁英邀請制度線下聚會 跑去蹭了NV/META
: 看到一堆海外的博士生在現場跪求進去Meta 線下聚會.......QQ
: 據說開放愛線下聚會是最難進去的 連地點和門路在哪都不知 只能被動邀請
沒關係，偷偷告訴你一個Insight
今年NeurIPS 2025有一篇超重量級的論文
Introducing Nested Learning
這篇文論的重要程度不亞於Attention is all you need
甚至可以說有過之而無不及
Transfomer架構只是發明了蒸氣機
Nested Learning這篇論文，簡直就是熱力學定律的等級了
基本上等於宣告Transformer架構過時了(因為是一種扁平和單一頻率的特例)
未來三到五年，全面轉向Nested Learning的時代
以下文字是我先寫一版，再請Gemini潤稿的洞察
--------這是AI潤稿的分隔線--------
當前 AI 發展正受制於一道物理鐵律：記憶體牆（Memory Wall）。傳統 Transformer 架
構依賴 KV Cache 維持上下文，這本質上是一種「以頻寬換取長度」的低效策略。隨
著上下文長度 T 的增加，Attention 機制的計算複雜度呈 O(T^2) 增長，而推論時
的記憶體搬運量呈 O(T) 線性增長。在 HBM 頻寬成長遠落後於 GPU 算力的現狀下，這
種依賴儲存大量未經壓縮原始狀態的架構，註定會從 Compute-Bound 跌落至 IO-Bound
的深淵。
Nested Learning 的出現，透過對記憶與推理本質的重新理解，為此困境帶來了典範轉移
級別的解答。
其核心突破在於「推論即訓練」的數學創新——Nested Learning 揭示了
Attention 機制在本質上等價於單步的梯度下降更新。基於此，HOPE 架構不再被動地檢
索歷史，而是主動將資訊即時壓縮為模型權重。這將原本受限於頻寬的檢索問題，轉化為
僅需固定算力的狀態更新問題，從根本上粉碎了記憶體牆。
在應用層面，這種架構徹底重塑了 AI 的個性化能力。HOPE 的動態記憶機制（Fast
Weights） 不再依賴傳統模型那種外掛式的提示詞（Prompting）來「模擬」短期記憶，
而是透過梯度更新，將使用者的偏好與習慣即時「內化」為模型參數的一部分。這不
僅在工程上根除了重複處理提示詞的算力浪費，更在體驗上創造出具備「演化能力」的專
屬模型，讓 AI 隨著每一次互動變得更懂你。
這一變革預示著當前 HBM 需求高速增長的趨勢將顯著放緩，技術改革的方向將轉向針對
不同更新層級的硬體特化：
邊緣裝置 (Edge)： 承載高頻更新的快層，將不再單純追求頻寬，而是轉向追求大容量
SRAM 與極致的能效比，以支撐毫秒級的狀態寫入與計算。
雲端中心 (Cloud)： 承載低頻更新的慢層，為了處理更複雜的邏輯推理與龐大的智能結
構，將演化出針對非歐幾何的特化運算單元，以在雙曲空間中實現更高維度的高效推理。
----------這是AI潤稿的分隔線-----------
你各位要小心HBM市場在2026年末的崩潰反轉
短期因為各種高頻信號，還是會持續推高HBM的市場價格
然後記憶體因為這些需求訊號，會瘋狂擴廠
等到「基於超大KV Cache的Transfomer架構」路徑依賴崩潰
新架構全面轉向HOPE的時侯
嘻嘻 刺激囉~~~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 146.70.205.172 (日本)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1765566374.A.FED.html
1F：推 ksjr : 因為這新架構 google是不是又要重新設計TPU拉? 12/13 03:10
遙遙領先，狗家的硬體和計算架構和前沿論文研究，具有高度的一致性
互相加成，互相協同，full-stack優化
等到其他大廠醒悟過來，發現Nested learning才是正確方向
決定要放棄Transfomer時，狗家已經領先一年到一年半了
不信你丟給ai問，可以多問幾間互相比對
當然，要用正確的方式問才會得到正確的答案
你要先有足夠的背景知識才能識破關鍵點，問出最重要的問題
問問題的能力，大概就是新時代最重要的能力了XD
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:16:47
2F：噓 iecju520 : 我看你根本不懂AI吧... 12/13 03:22
3F：推 rayray0410 : 看到這ID就先推 12/13 03:24
4F：推 L1ON : 我在看openai倒數計時 12/13 03:27
5F：推 ccneptunecc : 放棄transformer架構是否意味著需要更多GPU? 12/13 03:41
如果是以「當前同等能力模型」作為基準 答案是不會
因為Transformer+KV Cache是一種很低效的推論模型
低密度的無壓縮資訊儲存+重覆計算AttentionMap
導致超大量的能源浪費(算力和資料搬運成本兩者都是)
Nested Learning使用正確的層級特化結構的話 在推論期可以省下五到十倍的能源消耗
不過，架構優化和模型能力提升是兩步走的
在架構優化釋放出來的算力，最終會導致模型繼續依照Scaling Law擴大
所以結果是「省了十倍的能耗，那模型就能再大十倍」(這不是正確的數學，只是比喻)
算力需求永遠存在，因為文明的本質就是計算
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:55:45
6F：推 kuku951 : 需要更多GPU就需要更多記憶體… 12/13 03:55
需要從更細致的視角去切入
SRAM也是記憶元件 HBM也是 Host DRAM(LPDDR)也是
計算也一樣 tensor core是計算元件 systolic array也是計算元件
近存運算也是計算元件
所以「在哪裡計算，在哪裡儲存，如何搬運資料」從來就不是一個單一命題
一切都要從架構與系統級的視角下去拆解，才會根據需求得出一個答案
這也是為什麼邊緣層和雲端層會發展出不同的計算架構 因為需求不同
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:59:39
7F：推 ng101281 : 一根戳破泡沫的針來了 12/13 04:03
8F：推 kuku951 : 感謝分享，這東西真的挺牛的，說不定這會是未來AGI 12/13 04:08
9F：→ kuku951 : 的先驅，順便回覆樓上，如果這東西是真的搞得出來， 12/13 04:08
10F：→ kuku951 : 那就是戳破那些說AI泡沫的人 12/13 04:08
11F：推 roseritter : 硬體現實有餘裕的話，原本現在吹的天文級算力需求很 12/13 04:59
12F：→ roseritter : 難蓋出來 12/13 04:59
13F：→ roseritter : 改新玩法就能現實點 12/13 04:59
研究(Model Refinement)時代和擴增(Scaling)時代是輪流出現的
Ilya Sutskever最近有一篇訪談可以看看
正如他所說，接下來時代巨輪要轉回模型改進了
不過，等到模型改進得差不多，又會重啟擴增時代
這兩個時代的過度也是漸變的，不是一刀切
「文明的本質就是計算」
你如果看不懂這一大堆Big Tech誰會贏，那也沒差
買2330 永遠是對的
14F：推 tigerzz3 : 好久沒看到mina大 預計何時開撿？還是保守看？ 12/13 05:07
感謝GOOG爆噴一波，現在YTD 90%了(真是出乎我意料..11月初時我本來已經躺平了)
https://i.imgur.com/NHJP572.png
不過我在11月底賣掉一部份GOOG撿了NVDA，作整體部位Rebalance
然後今天就吃了一根超~~~級大的，腳麻了，哭啊
15F：推 shead1983 : 這篇好驚人，感謝高高手分享內容，讀完後的感想是 12/13 05:08
16F：→ shead1983 : 美光全力衝刺HBM，是不是慘惹？ 12/13 05:08
嘻嘻 其實這篇只是我得到的洞察的一小角而已
真正重要的我沒說，不過這篇其實有很多引子
比方說在模型最深層(最慢層)，需要非歐幾何的雙曲空間語義空間
(提示: Transfomer的語義空間是平面的)
這在Nested Learning論文裡是完全沒提的，是另幾篇資訊幾何學的研究
17F：推 aegis43210 : 現在的確是有AI泡沫，但目前要看是啤酒先裝滿或是泡 12/13 05:10
18F：→ aegis43210 : 沫先消掉 12/13 05:10
19F：→ aegis43210 : 不過邊緣運算中，未來NAND看起來會是最缺的 12/13 05:13
考慮一個五層結構，最淺兩層(L1~L2)在邊緣，三層(L3~L5)在雲端
你猜猜看L1需要多少參數量? 答案可能出乎你意料的小
完全不需要放在NAND
而且從最快層的「權重即時更新」需求來看，也不能可能放在NAND
20F：推 tigerzz3 : 今天這種盤 狗家不到1%真的太扯 12/13 05:14
21F：推 kuku951 : 衝刺HBM怎麼會慘… 這個做法還真有可能解決HBM的困 12/13 05:15
22F：→ kuku951 : 境 然後HBM的優勢在於頻寬跟速度 一定是未來最需要 12/13 05:15
23F：→ kuku951 : 的 12/13 05:15
HBM的頻寬和速度很重要 這敘述沒問題
不過HBM的總需求是容量(Capcity)決定的
猜猜看如果把最深層的語義空間從平面換成雙曲，參數量會變成多少?
有論文可以查的，查查看
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 05:44:36
24F：推 flyawayla : 花一整個早上快速掃完，看起來運算沒減少反而更多， 12/13 05:53
25F：→ flyawayla : 不同頻率互相獨立，不獨立我猜就要用記憶體存參數， 12/13 05:53
26F：→ flyawayla : 也沒有看到討論訓練速度，通常沒有就表示一定更花時 12/13 05:53
27F：→ flyawayla : 間，心得是中立，畢竟都發一個月了，可以再等等看其 12/13 05:53
28F：→ flyawayla : 他團隊有沒有跟上 12/13 05:53
我覺得你關注錯重點，HOPE架構的工程實作不是論文中最重要的部份
數學表達才是，這篇論文就算把HOPE架構整個去掉
純理論的部份就有相當於熱力學定律的價值
這代表一種更接近「知識、記憶、推理」的物理本質的理論
從而讓各大模型研究商能在巢狀學習的理論範式下，自由去探索各自的工程實現
類比於你有了熱力學定律之後，各種形式的熱機都有理論依據了
你看我前面對於未來模型的敘述(雲邊協同、不同語義空間的五層結構)
這和論文中簡化過的HOPE模型壓根就不是一回事對吧
因為HOPE模型的設計只是要作為論文的實證用途
而不是真正具備下一代模型的「工程可行性」&「商業可行性」的實作
至於下一代實作「可能會長什麼樣子」
那自然是不會在這裡解釋了...
反正即使我提了 99.99%的股板眾也是鴨子聽雷啊
29F：推 waitrop : 當你看到論文的時候，早就有特定的TPU xpu 了 12/13 06:03
狗家員工內線消息
我要是真信了 你就是在內線交易囉!!!
就事論事 TPUv7沒有明顯針對Nested learning的痛點去優化
(當然也沒有明顯不能跑的理由，依然可以跑)
至於v8之後怎麼設計，現在也沒有公開消息
比起雲端，我覺得現在是邊緣的計算架構沒跟上Nested Learning的需求
30F：推 Morphee : 先問一個問題 2017年 attention 出來之後 12/13 06:07
31F：→ Morphee : 你是否從技術押注中賺超過幾個億? 如果沒有 12/13 06:08
有 嘻嘻
你再回去翻翻我2019年談AI革命的文章
當時也是一樣，完全沒有人看懂我說什麼
32F：→ Morphee : 那 Nested Learning 也只是一個數據很普的實驗 12/13 06:09
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 06:11:00
33F：→ newwu : 想想這運用到大規模，多客戶的時候，這真的會讓記 12/13 06:21
34F：→ newwu : 憶體減少嗎 12/13 06:21
35F：→ newwu : *會讓記憶體使用量減少嗎？ 12/13 06:21
36F：推 waitrop : 邊緣計算也會跟上nested learning ，也有相對應的T 12/13 06:26
37F：→ waitrop : PU xpu 12/13 06:26
38F：推 waitrop : 會讓記憶體用量增加，但是不是hbm ，不能再多說了 12/13 06:28
如果根據手機上最快層的即時更新需求去推導
很明顯是要SRAM，而且不能和L1 Cache共用
既然要能放進整個最快層的權重，即使以INT4/INT8高度壓縮，也需要很大一塊SRAM
考慮到除了慢權重(預訓練參數)之外還要放快權重(記憶狀態)
加一加要個2~4MB的獨立SRAM是跑不掉的
39F：推 fisher6879 : 呱呱呱，數學不會背叛我，不會就是不會，不過AI推論 12/13 06:29
40F：→ fisher6879 : 的HBM需求下滑結論還是看得懂的，感謝mina大分享， 12/13 06:29
41F：→ fisher6879 : 天網是不是又加速啦？啾命Rrrr 12/13 06:29
真der 天網近了 悔改吧
42F：推 googstar : 非goog的asic又要準備被輝達gpu揍爛了 改架構最能 12/13 06:31
43F：→ googstar : 適應的就輝達 12/13 06:32
44F：推 losage : 你應該要請open潤稿，g家唯一缺點就是不會說人話 12/13 06:33
我故意的 實際上Gemini Canvas寫小作文可以調長度
調越長它會試著擴寫 解釋的更清楚 但是我偏不 嘻嘻
說真的，看不懂的人，就把我整篇文字+NL的論文都餵給AI
然後再問AI就好啦，時代都是這樣了，要善用AI啊
45F：推 steven853 : 所以結論是allin asic? 12/13 06:34
46F：推 waitrop : 沒錯，gb300的Rubin 三小的就是為了解決memory wal 12/13 06:34
47F：→ waitrop : l ，這問題業界都知道，但是願意改架構改算法的公 12/13 06:34
48F：→ waitrop : 司，也就只有谷歌跟輝達 12/13 06:34
49F：推 Ipluck : 回過頭看M大2019第一篇文真的是含金量十足 當時 12/13 06:36
50F：→ Ipluck : 就看的這麼徹底真的厲害 12/13 06:36
一般來說我是看未來3~5年的，再遠的我也看不到了
所以2019那篇講的是2019~2024的AI革命
這篇講的是2025~2030「通往AGI之路」
51F：推 bunjie : 先推在看 12/13 06:37
52F：推 audic : 核心權重會隨互動漂移＝不可重現、不可審計、極易被 12/13 06:38
53F：→ audic : 誤導，現實系統根本不敢上線，頂多停在論文 12/13 06:38
回到上述的五層系統
你完全可以把最深層的(物理定律、道德價值、信念)基底層
靜態權重完全鎖定不更新，來防止惡意注入
論文提示的是一種數學架構，你理解了整個數學架構的話
實務上你完全有各種工程實作的細節去彌合你的需求
當然我完全同意這種動態學習的系統，在正式上線前一定要經過嚴格的對齊測試
不過這不會構成「永遠不會有能夠動態學習的系統」的理由
54F：推 tsubasawolfy: 這名字取得好…看到就大概知道他要幹嘛 12/13 06:42
55F：推 ksjr : 有拉今天下午當薪水小偷時有問copilot 不過這個也發 12/13 06:44
56F：推 elliotpepe : 先推一個，未來再回顧 12/13 06:44
57F：→ ksjr : nested learning十一月初就發了 好像股價已反應? 12/13 06:45
58F：推 Morphee : 雲端跟edge會重分配吧 為啥會亂飄 12/13 06:47
看你每一層的更新頻率怎麼設定
再以五層模型舉例的話
雲端的L3可能是event-driven更新、L4可能是每天更新一次
L5就如上述所說，最好是不要亂更新
59F：推 googstar : 真的通往agi只會讓整個ai產業算力需求持續飆升? 12/13 06:53
60F：→ googstar : 看來輝達真的太便宜 12/13 06:54
買2330 永遠正確
鐵打的Foundry，流水的Design House
61F：推 guanting886 : 感謝分享 12/13 06:57
62F：推 afflic : 2330有機會變成全球市值前三嗎 12/13 06:58
63F：推 Morphee : AMD效率轉折受益者/Apple邊緣語義既得利益者 12/13 06:58
爽到Apple 躺平到最後天上掉餡餅 賽道重置
抱緊GOOG大腿就贏那些花了幾百億美金看別人車尾燈的
64F：推 breathair : 我只後悔都看對了，轉倉太慢還一堆QQQ，XD不過至少 12/13 06:59
65F：→ breathair : 早一步清掉TSM跟NVDA 12/13 06:59
66F：推 tomtowin : 重點是SRAM，就是買2330，感謝分享 12/13 07:00
67F：推 deltawai : 感謝 12/13 07:01
68F：推 chives465 : 推M大，請問除了TSM，AVGO會建議買入嗎？ 12/13 07:04
69F：推 Morphee : 想了一下 Hyperbolic若起來 NV還是比AMD有利 12/13 07:04
70F：推 qwe78971 : 股票不講這個 所以短期內沒用 到時候早就換股了 12/13 07:06
71F：→ Morphee : 看軟體是否續補topology-aware跟memory-flow API 12/13 07:08
不過，最深層語義改用雙曲，這可能是這篇文章裡最弱的推定
因為用現有的硬體算雙曲空間，那個運算量之驚人
光一個龐加萊距離就比歐幾里德距離高不止十倍運算量了
所以在專算雙曲的特化硬體內建之前
很有可能就是平面或球面加減用了
「切換深層語義空間」本質上就是「計算量 vs 記憶體容量/頻寬」的交換與權衡
雖然最終一定是會切到雙曲，但是這個改變要幾年發生，很難預估
快的話可能三五年，慢的話可能十年
72F：推 billionerx10: 看來自研asic可能會是一條非常不明智的路 架構一改 12/13 07:16
73F：→ billionerx10: 整個無用 12/13 07:16
74F：推 hduek153 : 分享推 12/13 07:18
75F：推 kottas : 好文 12/13 07:19
76F：推 jay412210 : 我2330是最大贏家 12/13 07:24
77F：推 abyssa1 : 要放SRAM 那就回到CCW 說的 產能遠遠不夠 12/13 07:28
邊緣需要大SRAM，雲端不需要
至於邊緣什麼時侯真正爆發
那當然是要等Nested Learning的動態學習模型成為主流才行
畢竟單層的Transfomer是不可能在邊緣裝置跑的
當然，如果說Nested Learning的最快層實際上跑Transformer，那是有可能的
不過在這種情況下，L1層跑Transfomer+滑動窗口KV Cache(模擬工作記憶)
比起直插一個固定大小的RNN作為工作記憶，並沒有特別的優勢
總之，要看到邊緣裝置爆發
大概會是2027~28之後的增長點了
78F：推 GinginDenSha: 推，呆灣房子買起來，呆民財富持續噴射 12/13 07:30
79F：推 littlelaba : 一句話 做多還做空啦 12/13 07:32
80F：推 whyhsu : 好 12/13 07:35
81F：推 suzuke : Nested Learning 推論即訓練聽起來很美好，但是你 12/13 07:39
82F：→ suzuke : 要知道現在的推論只要做「前向傳播 (Forward Pass) 12/13 07:39
83F：→ suzuke : 」，運算量相對小。Nested Learning在推論時，內部 12/13 07:39
84F：→ suzuke : 還要做反向傳播 (Backward Pass)或梯度更新，每生 12/13 07:39
85F：→ suzuke : 成一個字，計算量可能變成原本的 2-3 倍。再來訓練 12/13 07:39
86F：→ suzuke : 穩定性極差，也還不能平行化，這些問題沒解決前， 12/13 07:39
87F：→ suzuke : 它想要成為LLM的聖杯取代Transformers 還太早 12/13 07:39
你這屬於論文沒看清楚，或是直接丟AI叫它生答案的結果
再看清楚一點，HOPE架構的最快層有作反向傳播嗎??
在一個參數量很小、只處理簡單語義連結的最快層，直接一個DGD作掉了
要請AI讀論文，也要有足夠的背景知識，不然你根本不知道關鍵在哪
AI隨便說你隨便信
88F：推 Morphee : 從Attention到ChatGPT也差不多五年 合理的時間尺度 12/13 07:40
89F：推 gcarrot : 我也是11月底清了GOOG, 買入NVDA, 現在有點痛.. 12/13 07:45
都是ORCL的錯 救救NVDA 救救
90F：推 Morphee : 樓上你講得也是我問的問題 2017年你看到Attention 12/13 07:45
91F：→ Morphee : 樓樓上才對 也可以說出類似的論點 Attention要成為 12/13 07:45
92F：推 Morphee : AI聖杯還早 NLP還不成熟等等 12/13 07:48
任何洞見從技術前沿傳導到普羅大眾都要時間
這我五年前講AI革命時就說過一次了
問題是，當一個洞見變成新聞每天狂報的時侯，早就失去交易價值了
93F：推 n555123 : 推 12/13 07:48
94F：推 mamorui : 菇菇之前有提過，今年下半年正式進入聖杯終戰（我 12/13 07:51
95F：→ mamorui : 個人預計三年時間） ，市場通常第二年上半場會開始 12/13 07:51
96F：→ mamorui : 醞釀分勝負的前奏 12/13 07:51
97F：推 aspirev3 : 邊緣裝置爆發 還跟七巨頭有關嗎 12/13 07:51
98F：推 jimjim951357: 感謝分享 12/13 07:52
99F：推 ejnfu : 所以要買哪支？ Google NVDA都已有了 12/13 07:52
100F：噓 kkes0001 : 搞笑，革命性論文要多少有多少，重點是實作，trans 12/13 07:52
101F：→ kkes0001 : former 到llm 中間隔多久你知道嗎 12/13 07:52
102F：→ kkes0001 : 在這邊留個言當紀錄，幾個月後再來看看肯定還是原 12/13 07:52
103F：→ kkes0001 : 樣 12/13 07:52
原文就跟你說三到五年的大趨勢了(攤手)
至於知道這樣的技術趨勢 要怎麼轉成短期的獲利
嘻嘻 不教你
104F：推 overpolo : 真的感覺天網近了... 12/13 07:54
105F：推 timtdsas : 真股板女神推推 12/13 07:55
106F：推 Morphee : Attention/Transformer上位速度算非常快了 12/13 07:56
107F：→ Morphee : 但是還是對投資技術的慧眼要求很高 敢在2022年底前 12/13 07:58
108F：→ Morphee : 重押的 還是有一個很強的嗅覺 12/13 07:58
109F：推 breathair : 聽起來，GOOG，AVGO，TSM，AAPL是不錯的組合？ 12/13 08:01
110F：→ lokagh : 這種突破表示未來可降低ai電力需求? 12/13 08:01
解決模型架構的能源效率，只會導致更快的Scaling Law，更早的超人工智能時間表
電力需求要下降，這是不可能的
因為「文明的本質就是計算」
這九個字其實是資訊密度最高的洞察，可以解壓縮成十萬字以上的文章
只是你要會用正確的方式解壓縮
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 08:05:36
111F：推 Morphee : 現在比較煩惱是谷歌有Attn論文被OpenAI反超的經驗 12/13 08:04
112F：→ Morphee : 上頭可能不準發有料的文章了 12/13 08:05
113F：噓 kkes0001 : 那只能說你要嘛不是這個學術界的要嘛AI頂會論文看 12/13 08:08
114F：→ kkes0001 : 少了，革命性論文說多不多，說少也不少，但真正能 12/13 08:08
115F：→ kkes0001 : 走出實用這道坎的是少之又少 12/13 08:08
116F：推 dodobaho : M大看壞記憶體？ 12/13 08:09
117F：推 jacky5946 : 謝謝大神分享乾貨 12/13 08:09
118F：推 darkangel119: 想到發明藍莓機的電影 黑莓 將資料壓縮讓通訊塔的 12/13 08:09
119F：→ darkangel119: 乘載量暴增 12/13 08:09
120F：推 joe2 : 論文啊….個人是不信 12/13 08:09
121F：推 breathair : 聽起來懶人重壓TSM無敵XD 12/13 08:11
122F：推 Morphee : 應該是說資本投入的方向性 崁很多阿 理論 實驗 工程 12/13 08:12
123F：→ Morphee : 不是看幾篇論文衝過去單押 方向感阿 12/13 08:13
124F：推 loopdiuretic: 先推不然別人以為我看不懂 12/13 08:15
125F：推 qscNERO : 推 謝謝分享 12/13 08:19
126F：推 pc007ya : 神 感謝分享，NVDA盤兩個月還下跌哭了 2330 GUC放 12/13 08:21
127F：→ pc007ya : 抽屜傳家了 12/13 08:21
128F：推 beavertail97: 所以要出清NVDA的意思？ 12/13 08:22
129F：推 AndyMAX : 出清蒜粒小隊 12/13 08:28
130F：推 lovealgebra : 習近平要統治世界了 12/13 08:30
131F：推 calqlus : mina桑都修過來了...大盤真的牙敗了... 12/13 08:32
132F：推 believefate : 結論 還可以炒股到2026 沒事 12/13 08:36
133F：推 FireStarman : 作者都買NVDA了還有人說出清NVDA? 12/13 08:40
134F：推 GX90160SS : 績效跟鬼一樣 12/13 08:41
135F：推 mudmud : Entropy Control 12/13 08:41
136F：推 dongdong0405: 這讓我想到早在RAG開始火了之後我就跟同事說RAG這東 12/13 08:42
137F：→ dongdong0405: 西早晚會被取代 12/13 08:42
否，並沒有說Nested Learning就不用RAG
因為Nested Learning展示記憶機制是有損壓縮(遠久的越模糊)
所以必然要在某一層引入RAG的
可能是L2層，可能是L3層，可能是L4層，在工程實作上彈性很大
就像你要記筆記一樣
要外部儲存一個記憶關連的錨點去重新強化連結
138F：推 axr : 推 看來無腦堆tsm安心睡了 12/13 08:48
139F：→ bnn : 總覺得聽你的描述蛋白質剛進入第一層摺疊 12/13 08:48
140F：推 bensonla : 推，買2330就對了 12/13 08:49
141F：推 jen1121 : 2330 NVDA APPL,三檔續買 12/13 08:52
142F：→ Risedo : 都顛覆性了 AGI還要2030嗎 12/13 08:55
143F：→ MumiPyonPyon: 說要取代transformers的文章年年都有 12/13 08:58
144F：推 Eide : 我大谷歌天下無敵 12/13 09:01
145F：推 leotw : Tsm: 片上sram需求goog: 最高效模型+最低運算成本 12/13 09:03
146F：推 allenmusic : 好專業文 感謝 12/13 09:05
147F：推 a39208491 : 推 12/13 09:10
148F：推 barrytwu : 2330+NASDAQ無腦多！ 12/13 09:12
149F：推 wangyl : 有料 12/13 09:13
150F：推 Smile365Day : 應該是要出清做HBM的記憶體廠商 12/13 09:13
151F：→ Lowpapa : 這篇論文跟我想的一樣 12/13 09:21
152F：推 AJEN1202 : 感概自己書讀太少看不懂 12/13 09:21
153F：推 Lasvegas : 推 12/13 09:23
154F：推 g0t24568 : Mina大995 12/13 09:29
155F：推 stonerr : 感謝分享 12/13 09:29
156F：推 vvnews : 問AI AI卻回答HBM需求反而會暴增 請問那裡有問題QQ 12/13 09:29
157F：推 lasekoutkast: 重點是掌握權力的那些政治人物 12/13 09:31
158F：→ lasekoutkast: 產業的發展跳脫不了人的管理 12/13 09:32
159F：→ breathair : 你整篇喂進去，不要自己問比較準，AI有答案了 12/13 09:32
160F：→ lasekoutkast: 那些掌握權力的政治人物決定AI發展的快慢 12/13 09:32
161F：推 abyssa1 : 繼續卡dram bandwidth才會讓NVDA上不去 12/13 09:35
162F：→ abyssa1 : 路線沒改的話 到時候dram比顯卡還貴 12/13 09:35
163F：推 lasekoutkast: 泡沫的產生歸根究底就是在理論尚未成熟前就一窩蜂 12/13 09:35
164F：→ lasekoutkast: 的投入資金 12/13 09:35
165F：推 abyssa1 : Mina為什麼你的ip 在日本 出國玩還這麼認真研究喔 12/13 09:37
166F：推 aixiiae2005 : M大可以直接講標的嗎= =不然2030你又要發文說2025發 12/13 09:38
167F：→ aixiiae2005 : 的文沒人看得懂了... 12/13 09:38
168F：→ aixiiae2005 : 這樣2030也可以回來稽查XD 12/13 09:39
169F：→ ndk2675m : 新架構的產品，由誰生產@@？ 12/13 09:40
170F：噓 bigwhiteeat : 哥 不能說中文嗎…. 12/13 09:41
171F：推 Humanbeings : 這篇含金量超高，已經顛覆對未來AI的想像，感謝分享 12/13 09:41
172F：推 lajeremy : 感謝分享 讚歎Ptt法人 12/13 09:42
173F：推 lasekoutkast: 產業的發展還要考慮現金流 12/13 09:43
174F：推 liliumeow : 聽起來更接近人類大腦 但如果這個架構加上超大記憶 12/13 09:46
175F：→ liliumeow : 體 有什麼不好 記憶好總是有地方可以派上用場 搞不 12/13 09:46
176F：→ liliumeow : 好是機器超越人類的地方 12/13 09:46
177F：推 lusifa2007 : 好文推推 12/13 09:47
178F：→ kao9458 : 這個team在ttt的前提下，水了好幾篇paper，寫的最 12/13 09:49
179F：→ kao9458 : 好的是故事 12/13 09:49
180F：推 qilar : 安啦 transformer 不會死的 12/13 09:52
181F：推 yuantai : 燈別開那麼亮，很多人還有美夢不想醒 12/13 09:52
182F：推 NekomataOkay: 感謝信心加持 12/13 09:52
183F：推 sustto : 記憶體終究要回白菜價惹 PC又贏 12/13 09:55
184F：推 asssstang : 看不懂，但有料給推 12/13 09:56
185F：→ abyssa1 : 記憶體要回白菜價 至少要到產能大量開出來 還很久 12/13 09:56
186F：→ eriker : 又不是O T 就比較好 這種線性模型早就一堆 transfor 12/13 09:56
187F：→ eriker : mer跟暴力解沒兩樣 一定是最強的 12/13 09:56
188F：→ kajika : HBM之後崩潰反轉也不會是這個原因啦 12/13 09:57
189F：推 webberya : 我看懂關鍵字了，鐵打的2330買起來就對了 12/13 09:57
191F：推 mamorui : 公司財不揭露 嘻嘻 狗狗比這篇論文發表 可能有新 12/13 09:58
192F：→ mamorui : 的才會發表 12/13 09:58
196F：推 smallmin36 : 好專業！只能推了 12/13 09:58
197F：推 assassinzero: 這篇重點：如果nested learning可行，記憶體的美夢 12/13 09:58
198F：→ assassinzero: 就會破碎 12/13 09:58
200F：→ eriker : 而且資訊越多變爛機率更高 gpt用起來就是這樣 真正 12/13 09:58
202F：→ eriker : 有用的通常就是最近的 12/13 09:58
203F：→ ojh : 高手 這下nv真的要崩爛 只能抱孤狗了 12/13 09:58
205F：推 jerrychuang : google不是在2024年就提出Nested Learning的概念了. 12/13 09:59
206F：→ jerrychuang : .其他家應該多少有研究了吧..雖然GOOG還是絕對領先 12/13 09:59
207F：→ jerrychuang : 啦 12/13 09:59
210F：推 mamorui : 公司財最後不再揭露時 AGI就準備完成 12/13 10:00
211F：推 nidhogg : 先無腦台積電再看誰打贏？ 12/13 10:00
212F：→ eriker : 長文的任務跟短文是明顯不同的 如果trasmformer在記 12/13 10:00
213F：→ eriker : 憶體可行下都還是最強 12/13 10:00
「推論即學習」
你覺得無損儲存(KV Cache)比較強，實際上是「死記硬背，沒在學」
壓縮資訊=從低維空間向高維歸納的過程=學習
人的大腦可沒有無限KV
相對的，根據自由能原理相關研究
你在腦中壓縮資訊時，會因為預測誤差改善而分泌多巴胺
也就是說
基於資訊壓縮而生的生理機制(=求知欲)是文明進化的關鍵因素
214F：推 goodjop : 尊重專業 推，但懂再多的人 短線還是會看錯 12/13 10:05
215F：→ goodjop : 何不長抱 刪APP即可? 12/13 10:06
216F：→ goodjop : 如果再2020年就有NVDA 已經是25倍的獲利 12/13 10:08
217F：→ ojh : 科技變化很快 孤狗推tpu出來 長抱nv刪app的全死 12/13 10:09
218F：→ goodjop : 真的嗎? 很多人都還是賺錢 死在哪? 12/13 10:10
219F：推 MinJun5566 : 我信mina大 12/13 10:10
220F：→ goodjop : 你的言論 讓人容易記住ID 而且越來越容易記住了 12/13 10:11
221F：推 marke18 : 謝謝分享~~ 12/13 10:11
222F：→ loveadu : NV65收，2奈米現在誰用？ 12/13 10:15
223F：推 cosmite : 12/13 10:17
224F：→ karcher : 搞AI快變搞哲學了，這有助於營收？ 12/13 10:18
225F：推 brightest : 看起來nested 頻寬需求只會更大 如果CIM起不來 HBM 12/13 10:18
226F：→ brightest : 需求只會更大 所以關鍵反而是CIM的創新而不是neste 12/13 10:18
227F：→ brightest : d 12/13 10:18
228F：→ faultless : 看起來谷歌玩的方式才是未來的主流 12/13 10:19
229F：推 as6633208 : scaling law增速>>放緩>>找到更好的算法>>scaling l 12/13 10:19
230F：→ as6633208 : aw增速 LOOP 12/13 10:19
231F：→ as6633208 : 不需質疑scaling law，除非你相信人類科技停滯 12/13 10:20
232F：推 plaay : 現在還沒有nested learning 劃時代發明的感覺 12/13 10:21
233F：推 a1234567289 : Scaling law不是聖經捏 12/13 10:22
234F：推 as6633208 : 質疑scaling law大概就是覺得人類科技現在就是頂了 12/13 10:24
235F：→ as6633208 : ，不會再更好，破台了，你覺得可能嗎，宇宙那麼大尺 12/13 10:24
236F：推 jerrychuang : 應該是HBM下降，但一般LPDDR上升.因為不需要一直搬 12/13 10:24
237F：→ jerrychuang : ，而且餐數量下降 12/13 10:24
238F：推 stanleyiane : 推～ 12/13 10:25
239F：推 as6633208 : 宇宙那麼大尺度，你覺得人類文明就這樣見頂了，人生 12/13 10:25
240F：→ as6633208 : 真無趣 12/13 10:25
241F：推 guanting886 : 定期定額買進，做好隔代沖 12/13 10:27
242F：推 jian0202 : 先推 12/13 10:28
243F：推 a1234567289 : 你對scaling law的理解是整個文明算力需求會上升 12/13 10:29
244F：→ a1234567289 : 但這玩意說的是隨著模型規模增長 他就會表現得更 12/13 10:29
245F：→ a1234567289 : 有智慧 12/13 10:29
246F：推 bonjour87 : 你的最後假設是記憶體會因為需求擴廠.結論會崩盤? 12/13 10:30
247F：→ bonjour87 : 但現在看到的是記憶體寧願裁掉消費性也不擴產. 12/13 10:30
一般來說記憶體會有長鞭效應
不過你說的也沒錯，如果市場很快就納入長期信號
不再瘋狂推高HBM價格，三大記憶體廠也沒有因瘋狂的短期價格訊號擴廠的話
最終的曲線可能會更平淡一點
泡沫有多大，破的時侯就有多刺激
我文中說2026年末要小心的前提是
明年上半HBM繼續以每季+20%~30%的價格增速瘋漲
如果現在就是HBM價格高點，稀缺性炒作停止，那反而不會有後面刺激故事
248F：→ a1234567289 : 文明能量 算力需求或許會上升 但這和模型說的scal 12/13 10:30
249F：→ a1234567289 : ing law是兩件事 12/13 10:30
250F：推 Comtw : 我看不懂 是不是注定當韭菜了 12/13 10:31
251F：→ a1234567289 : 另外 地球尺度夠大了吧 從第一個生命誕生到現在 生 12/13 10:31
252F：→ a1234567289 : 命體的智慧走的一直是更有效率而非更大 12/13 10:31
253F：推 kei1823 : 美光究竟是不是先知 12/13 10:33
254F：推 as6633208 : 單細胞生物也很有效率，始終了展不了科技，就是要堆 12/13 10:37
255F：→ as6633208 : ，有效率只是堆更快，還是要堆 12/13 10:37
256F：推 rayisgreat : mina大大回來了！先推先推！ 12/13 10:38
257F：推 a1234567289 : 我只是認為架構永遠優先於規模 12/13 10:39
258F：推 TIPPK : 99公公 12/13 10:40
259F：推 kuosos520 : all in TSMC or GOOG NVDA TSMC AAPL? 12/13 10:40
260F：推 jatj : 2樓噓的好懂 發表一下低見如何 12/13 10:42
261F：推 yuen1029 : 講到人家看不懂就贏了 12/13 10:50
262F：→ tinybunny : 想買鴨 但看到macd就先等惹 12/13 10:50
263F：推 afacebook : 2年我看大家也是說transformer完蛋了 是mamba得天下 12/13 10:51
264F：→ afacebook : 可是現在主流還是都用Transformer 12/13 10:51
265F：→ afacebook : 看起來真的很厲害 不過在看看 12/13 10:52
Mamba只有一層更新頻率
你套用在Nested learning的框架下去理解各種對Transfomer的改進
會發現他們都共享同一套數學表達
所以才說真正重要的不是HOPE架構，而是論文前半的那套數學
266F：推 Noberman : 只有中國要擴廠 你哪邊資訊看到其他要擴的？ 12/13 10:54
267F：推 schula : 優文推推真有趣，言簡意賅，感謝信心加持 12/13 10:56
268F：推 BBKOX : 買半導體ETF應該不會輸吧 12/13 10:57
269F：噓 s942816 : 你不如說量子電腦統一世界 12/13 10:59
270F：→ a9564208 : 最後針對邊緣裝置跟雲端的論述，是不是代表通訊又噴 12/13 11:00
271F：推 afacebook : 我看起來他跟qkv結構沒甚麼關聯ㄟ 他是一種新的梯度 12/13 11:00
272F：→ afacebook : 度更新方式 12/13 11:01
273F：→ afacebook : 論文確實很厲害 不過跟記憶體好像沒啥關聯 12/13 11:01
274F：推 FULLHD1080 : 記憶體那邊省下來的錢,會轉去計算晶片,這樣講大家 12/13 11:02
275F：→ FULLHD1080 : 懂了嗎 12/13 11:02
276F：推 woker : 不要吵買google就好 12/13 11:07
277F：推 josephpu : 推 12/13 11:08
278F：推 lovemost : 計概還老師了….努力回憶中 12/13 11:08
279F：→ ookimoo : 軟體，硬體會發展，需求不會像你想的那樣提升，top 12/13 11:15
280F：→ ookimoo : player手上的錢也是要從投資變回收，聽不懂也沒辦 12/13 11:15
281F：→ ookimoo : 法 12/13 11:15
282F：推 overpolo : 怎麼會沒關聯 同等級算力用的記憶體變少 所以資源 12/13 11:15
283F：→ overpolo : 要先轉去撐高算力 之後算力高了變成存儲能力遇瓶頸 12/13 11:16
284F：→ overpolo : 就要再把資源拿去擴充記憶體 這是個正向的景氣循環 12/13 11:16
285F：推 joey2k14 : 所以買NVDA、TSM、GOOG、AVGO、AMD、APPL對吧 12/13 11:17
286F：推 aegis43210 : 大規模路線肯定是會有用的 12/13 11:17
287F：推 woker : 買半導體etf好了 基金會自動幫我們研究 12/13 11:22
288F：→ strlen : 要怎麼證明紀憶體不重要了？ 12/13 11:25
289F：推 FULLHD1080 : 以fab而言,記憶體御三家營收會典範轉移到TSMC,然後 12/13 11:27
290F：→ FULLHD1080 : 我的AGI一定要比你強,所以開始瘋狂捲算力 12/13 11:27
291F：→ FULLHD1080 : 現在大家在捲小孩子的學歷,以後大家改捲誰家的機器 12/13 11:30
292F：→ FULLHD1080 : 人比較聰明比較能打 12/13 11:30
293F：推 flightmoon : 跟AI聊完，如果要在NL以及BCI上投資，AI建議TSM、 12/13 11:42
294F：→ flightmoon : GOOG、ISRG 12/13 11:42
296F：推 koushimei : 就是台積電繼續吃肉 韓廠挫賽 12/13 11:47
297F：推 f0915034335 : 看不懂但先推再說 12/13 11:49
298F：推 JasonTatum11: 就是N變log N 這不是大一就學過的東西嗎 12/13 11:56
299F：推 abyssa1 : 記憶體需求不會下降 只是增速回到線性而已 12/13 11:58
對，因為要解的問題又從IO bound變回compute bound了
300F：推 mamorui : 趨勢是AI用記憶體扶正 除非谷歌成功顛覆硬體界「 12/13 12:03
301F：→ mamorui : 算力愈高 記憶體永遠不夠用」的基礎觀念 12/13 12:03
302F：→ mamorui : 計概的東西是最難撼動的 12/13 12:04
是Compute intensity改變了
303F：推 cloud1030 : 感謝大大的分享 與我想的差不多 12/13 12:06
304F：推 feeling5322 : 感謝大大無私分享 12/13 12:11
305F：推 ynanlin : 從一個學習AI新架構的角度，我把minazukimaya大的 12/13 12:12
306F：→ ynanlin : 意見和Google nested learning paper放到NotebookL 12/13 12:12
307F：→ ynanlin : M上，先做了這份Deep Research報告，大家可以看一 12/13 12:12
309F：推 ab4daa : 快搞死記憶體吧 想組電腦了 12/13 12:13
310F：→ dream12305 : 小看華爾街財技 12/13 12:16
311F：推 longlyeagle : 結果下一世代最後還是靠Google... 12/13 12:24
312F：推 BBKOX : 還沒到最後的物理AI，一切都難說 12/13 12:25
313F：→ BBKOX : 半導體ETF買起來 12/13 12:25
314F：推 SuperBig78 : 所以nested learning架構的出現會加速AGI的出現嗎？ 12/13 12:28
真正的AI產業領導者 aka. Sir Demis Hassabis
他說我們離AGI還差一到兩次的關鍵技術突破
Nested Learning高機率是其中一個(用統一的數學語言重新描述知識與學習的本質)
剩下一個，我不知道 等Google Researh研究出來我再跟你說
315F：推 bonbon789852: 看不懂但是感謝分享 大GG天下無敵 12/13 12:30
316F：推 eatlion : 感謝大大無私分享 12/13 12:30
317F：推 ctes940008 : 要爆了嗎？ 12/13 12:33
318F：推 for767 : 有什麼好刺激的？記憶體已經好幾次這樣了 12/13 12:37
每一次記憶體週期都很刺激好嗎XD
319F：推 jorden : 感謝分享 終於懂目前AI模型語言一堆限制的邏輯了 12/13 12:37
320F：推 bring777 : 領先技術的，現在誰新手機沒用AI ? 12/13 12:38
321F：推 oops801011 : 推 12/13 12:43
322F：推 SilverRH : GSIT先躺一票人進去了 12/13 12:47
323F：推 pmes9866 : 老鐵牛逼 我要好好複習我的數學了 12/13 12:49
324F：推 loopdiuretic: 那台積要回房間喝酒了嗎 奪門而出啥時回來？ 12/13 13:12
325F：推 s81048112 : 看完推 12/13 13:14
326F：推 CCPenis : 還真的是2330無腦多 12/13 13:19
327F：推 BBKOX : 重壓TSMX，再加上七巨頭槓桿ETF，應該可以應對後面 12/13 13:22
328F：→ BBKOX : AI的發展 12/13 13:22
329F：推 junior020486: 甲骨文丸辣 12/13 13:22
330F：→ BBKOX : 囊括代工、算力、模型、應用 12/13 13:23
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 13:23:49
331F：推 NoMomoNoLife: 賀出桶！還馬上熱心分享QQ 12/13 13:23
332F：推 ynanlin : 關於接下來幾年學習推理運算所用的晶片，會朝更客 12/13 13:23
333F：→ ynanlin : 製化，記憶體需求與架構也將改變，由於NL是Google 12/13 13:23
334F：→ ynanlin : 開發也正積極落實應用，可想見內部有更多相應硬體 12/13 13:23
335F：→ ynanlin : 架構的研發，也有相對領先的優勢。粗淺的Deep Rese 12/13 13:23
337F：→ ynanlin : v1X3) 12/13 13:23
338F：推 walkingtall : m大厲害！希望後續持續幫忙暗示（或明示XD）救一下 12/13 13:25
339F：→ walkingtall : 我們這些小菜雞XD 12/13 13:25
340F：推 nikoyaka9527: 推mina大，謝謝分享資訊 12/13 13:34
341F：推 rayisgreat : 前幾天才看到TSMC釋出的N7到未來A14的效能演進，再 12/13 13:37
342F：→ rayisgreat : 加上架構模型持續架化，兩者相輔相成實在很難想像未 12/13 13:37
343F：→ rayisgreat : 來的AI世界會有多可怕@@ 12/13 13:37
344F：→ rayisgreat : *持續進化 12/13 13:37
345F：→ alanjiang : 這是可以免費看的嗎www 12/13 13:38
347F：推 rayisgreat : 再次感謝mina大大分享 12/13 13:41
348F：推 bob1012 : 感謝分享 12/13 13:48
349F：推 ACDC69 : 看不懂，先推 12/13 13:49
350F：推 OuO333333 : 看起來像Transformer+RL? 12/13 13:58
351F：推 mamorui : mina大一定知道數學猜想也在靠AI解決中，菇菇我等 12/13 14:01
352F：→ mamorui : 躺在科學家塵封盒子的做不下去的論文登場，AI的第 12/13 14:01
353F：→ mamorui : 三篇章聖杯是黑科技。 12/13 14:01
不止是數學，包含社會科學和經濟學，這種傳統上歸到文組的領域
實際上也是需要AI研究的
因為數學語言是有普世擴展性的
所以從Nested Learning的起點出發，再多幾步推導
就能得出「文明的本質就是計算」
延伸出L6與L7的計算層，發展出一套用來描述文明、制度的數學語言
https://reurl.cc/6bK3Q5
我提供一個引子給對這方面研究有興趣的人去讀
老樣子，如果讀不懂，就丟去問AI吧
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 14:15:06
354F：推 TaiwanUp : NL=控制理論 Transformer=引擎 HOPE=會變形的引擎 12/13 14:11
355F：→ TaiwanUp : 會變形的引擎在飛機來說很恐怖 但模型訓練不一定 12/13 14:12
356F：→ TaiwanUp : 熱力學定律還是至高無上 很難有什麼技術可比喻為之 12/13 14:14
357F：→ TaiwanUp : 熱力學定律是不可被比喻的 12/13 14:15
你小看了Nested learning這篇論文的背後擴展潛力
它不單單只是一篇關於AI的論文，它「正好是熱力學定律的反面理論」
熱力學是關於「宇宙的熵增」
Nested learning是關於「文明的熵減」
剛好是對偶關係
358F：→ TaiwanUp : 剛睡醒就看了好人名單文 刷了兩小時的手機 12/13 14:16
359F：→ h22349 : 別想太多 一篇優化效率 現在ai就像是國土擴張，遲 12/13 14:22
360F：→ h22349 : 早會有新算法，需要這些資源 12/13 14:22
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 14:24:18
361F：推 FULLHD1080 : AI的飛輪效應要來了,算法-硬體 相互改善,直到物理 12/13 14:25
362F：→ FULLHD1080 : 化學的窮盡 12/13 14:25
363F：推 linweida : 睡醒看到Mina大的文必推! (mina怎麼好像不用睡覺) 12/13 14:30
364F：推 ykjiang : SRAM太貴太佔die size且面向用戶，不用太低延遲 12/13 14:38
365F：→ ykjiang : DRAM應該更適合 12/13 14:38
366F：→ TaiwanUp : 文明熵減是局部熵減 很難跟全域對偶 但是人致富關鍵 12/13 14:57
367F：推 hotbeat : CUDA 才是那個聖杯 ，ASIC只能做edge的 12/13 14:59
368F：噓 MoonCode : 想太多了 12/13 15:01
369F：推 hotbeat : 怎麼看google還是最大贏家，跟台廠有結盟的基本上 12/13 15:08
370F：→ hotbeat : 都不用擔憂太多 12/13 15:08
371F：推 breathair : 再推一次！看完覺得自己對AI的發展拔高了不只一層！ 12/13 15:15
372F：推 TaiwanUp : 宇宙和文明還是有對偶 但沒有野蠻和文明那麼明顯 12/13 15:23
373F：推 afacebook : 當初大家覺得Mamba能取代transformer 是MoE+mamba或 12/13 15:32
374F：→ afacebook : 其他的架構 當然不可能只有一層ssm的架構啊 12/13 15:33
375F：→ afacebook : 這東西感覺是一種特別的fine turing 12/13 15:34
376F：→ afacebook : 能不能成功 要再多做一點實驗 12/13 15:34
377F：→ afacebook : 現在主要還是覺得大模型比較強 12/13 15:36
378F：→ afacebook : 這是想要做些中模型 就能有很好的適應能力吧 12/13 15:36
379F：→ afacebook : 很特別 請google再多做一點實驗 12/13 15:37
380F：→ afacebook : CMS這種更新方式 其實跟一般 先凍結一些層 然後慢慢 12/13 15:39
381F：→ afacebook : 打開 不是很像嗎? 12/13 15:40
382F：→ afacebook : 然道主要是那optimizer有貢獻嗎 12/13 15:41
383F：→ afacebook : 好像也沒這麼簡單 要再研究一下 12/13 15:43
384F：→ TaiwanUp : NL像是聯合國憲章 HOPE是機構+流程 Transformer美國 12/13 15:52
385F：→ TaiwanUp : Mamba就是另一國 但看起來沒有成氣候 12/13 16:01
386F：推 misthide : 總歸一句 2330是最大贏家 任何新技術都繞不開它 12/13 16:02
387F：推 BBKOX : 以為買了AI Pro就能一直使用Gemini思考型，結果還 12/13 16:10
388F：→ BBKOX : 是有次數限制… 12/13 16:10
389F：推 afacebook : Mamba有沒有成氣候 還不知道吧.... 12/13 16:24
390F：→ afacebook : 每次新架構出來 基本都會吹一下 要經過檢驗 12/13 16:26
391F：推 afacebook : 說實在 我個人是覺得沒有到當初看Transformer那種 12/13 16:28
392F：→ afacebook : 神奇感 就是等看接下來發展 12/13 16:29
393F：→ PTTMAXQQ : 感恩啊 謝謝分享專業知識 對我幫助蠻大的 12/13 16:40
394F：推 sss966146 : 想問2019是哪一篇 12/13 16:50
395F：推 h129875230 : 要五層參數 不就要一大坨人幫忙 fine tune嗎 這個 12/13 16:51
396F：→ h129875230 : 五年內就出來 是不是有點樂觀 12/13 16:51
五層不是五個模型好嗎，它是同一個模型的巢狀表達
在快層傳到慢層時，傳遞的是「語義向量」
這就表示L2傳給L3的語義向量要是同義的
也就是說，整個模型是要五層一起聯合訓練的
預訓練時不可能分散佈署
是訓練完才把L1/L2的初始靜態參數(慢權重)佈署到邊緣端
397F：推 jonaswang01 : 我g天下無敵還有人有疑問？ 12/13 17:12
398F：推 suPerFlyK : 只能推了 12/13 17:17
399F：推 akanokuruma : 意思是記憶卡現在風聲水起 隨著技術更新 擴廠=負債 12/13 17:29
400F：→ akanokuruma : 虧損 暴死 12/13 17:30
401F：推 Bellucci : 看不懂所以問AI, 它建議是Goog/AAPL/AVGO/QCOM/ARM/ 12/13 17:35
402F：→ Bellucci : TSMC/聯發科 , Nvidia有其護城河且他具備訓練功能不 12/13 17:35
403F：→ Bellucci : 至於死掉但要分散風險不重倉。 12/13 17:35
404F：推 Bellucci : TSM是絕對防禦 12/13 17:38
405F：推 darkangel119: AI回答我是SRAM IP 跟 ASIC 事核心受益者 咦？ 12/13 17:40
410F：→ Bellucci : 我菜雞還是QQQ和mega 7就好，神仙打架我沒資格參加 12/13 17:52
411F：推 joewang85 : 推 12/13 17:58
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 18:07:13
412F：推 as6633208 : 行業護城河問gpt你會很慘喔，每間護城河都是在增加 12/13 18:06
413F：→ as6633208 : 的要看的是未來布局 12/13 18:06
414F：推 mudmud : Active Entropy Control Model 12/13 18:28
415F：推 Bellucci : 我沒問行業護城河欸我直接給論文它自己寫的 12/13 18:28
416F：→ Bellucci : 重點不在第四張在前三張 12/13 18:29
417F：→ Bellucci : 反正AI沒回要買Nividia 是建議前三張的標的 12/13 18:30
418F：推 lee198218 : 謝謝提供非常好的素材 12/13 19:00
419F：推 breathair : 此篇重點在未來AI世界的描繪，虛擬與現實的雙耦，虛 12/13 19:06
420F：→ breathair : 擬的入口（GOOG，APPL)，物理的極限(TSM，CEG) 12/13 19:06
421F：→ lavign : 通用型怎麼什麼都不精怎麼和ASIC比 12/13 21:03
422F：推 PTTMAXQQ : 你各位還是想想最終消費者會選擇從哪個入口去付費A 12/13 21:16
423F：→ PTTMAXQQ : I 12/13 21:16
424F：推 sustainer123: 這篇不是github還沒開源嗎? 12/13 21:28
425F：推 avans : 不懂Nested Learning如何降低vram用量，不過先推了! 12/13 22:49
426F：→ njjroom : 謝謝mina大的分享引起很多大大的討論，跪學中…… 12/13 23:16
427F：推 ksjr : asic每次換算法都要重新設計來取得最佳效能啊 12/13 23:39
※ avans:轉錄至看板 AI_Art 12/14 00:12
428F：推 ykjiang : 這用TPU跑一定悲劇，GPU勉強可以，ASIC有得等 12/14 02:00
429F：→ ykjiang : 不過NL不會太快取代現有的LLM，即使硬體充分支援 12/14 02:01
430F：→ ykjiang : 每個人都雲端學習自己的AI model，學出來還都不同 12/14 02:02
431F：→ ykjiang : 太不可控了 12/14 02:02
432F：→ ykjiang : 可以考慮邊緣端的應用，不過風險還是很高，容易被告 12/14 02:03
433F：→ JKjohnwick : 太唬爛,這要甚麼時候商轉,甚麼時候價格降下來 12/14 13:43
434F：→ JKjohnwick : 如果可行的話,採購第一個轉過來買這個 12/14 13:44
435F：推 mtm : 這是股版目前最有料的一篇 12/14 14:59
436F：推 mtm : 9月的時候要減碼TSM，現在要趕快補回來了嗎 12/14 16:20