※ 引述《waitrop (嘴砲無雙)》之銘言： : ※ 引述《xross (xross)》之銘言： : : 我看版上一堆 AI 下半場了 垃圾時間了 之類的分析文 : : 可是我左看又看 怎樣都像白刃戰 拼刺刀 殺瘋了 卷瘋了 : : 啥 Code Red 都出來了 : : Gemini 3 才出來幾週 : : Deepseek 就來葛 +0.1 (v3.1 -> v3.2) 包含 IMO 數學金牌 AI : : 說已經趕超 Gemini : : 才沒幾天 : : Deepmind 就又突然出個 Deep Think 版 也是強調 IMO ICPC 數學 AI : : "gold medal winning IMO and ICPC technologies" : : https://x.com/demishassabis/status/1996683917991334300 : : 時間點上 不是巧合吧 : : 怎麼看都像是逼對方出招啊 : : 說好的垃圾時間呢??? 既然認真回覆了 那我也回些東西 : 的確是垃圾時間, : 但是垃圾時間的定義跟你說的不同, : 首先, : 我們來看最近最流行的這句話: : Scaling is over and LLMs are a dead end. : https://x.com/GaryMarcus/status/1993727856204198313/photo/1 : 翻成中文, : 就是我11/12那天說的: : 各家的LLM把世界資料都訓練差不多之後, : 各家的LLM都不會差太多 "資料/數據金礦挖完了" "空有鏟子卻沒礦/dataset" (鏟子過剩?! 算力過剩?!) 那要如何解釋各家數學(math)能力蹭蹭往上漲呢?? 論既有資料dataset 數學跟其他學科一比差不多是增長最少最慢的吧 做為對照 code 應該是最多的 很多類似功能的東西一而再再而三被表達出來 claude 喜歡強調 coding 能力我看他們多少是相信上面那行話 其二 先假設沒過多久就撞牆了 那我們當下已經進入撞牆期了嗎??? (類似客機速度數十年來釘死了 市場已容不下超音速等次世代客機) 我傾向否(not or not yet) 因為常常用一用就會發現AI降智 常見說法就是(分給你的)算力下降 一減算力就降智 照理說 人的感受哪有那麼厲害 能隨便感覺出來不就代表降智不少 多少反應升算力升智的重要 與算力已過剩論矛盾 對於升智的一個直觀感受 就是今年最貴的AI 跟明年哪一檔的AI感受差不多 大概多少可以反應出年增是否嚴重趨緩 目前各家白刃戰 進步速度有目共睹 例如生圖生影片的能力和年年進步堪稱可怕不為過 作為對比 上古時代 電腦認字進步很緩慢的 貼個1986 vs 1989 (你引用的X文有提到這位老兄 我翻翻剛好看到他這另一篇文) https://x.com/SchmidhuberAI/status/1995875626092315116 最後 這回文並非贊成或反對 Google/Deepmind 和其股價走勢 論AI樂觀程度 Deepmind 反而是最樂觀的那一檔 幾個月前說 再五年AGI "I don't know if it will be a single moment. It may be a gradual thing that happens, but we'll have something that we could sort of reasonably call AGI, that exhibits all the cognitive capabilities humans have, maybe in the next five to 10 years, possibly the lower end of that." - DeepMind CEO, Demis Hassabis 我個人反而遠沒這麼樂觀 : https://webptt.com/m.aspx?n=bbs/Stock/M.1762925104.A.67F.html : 如果最後大家的LLM都差不多一樣, : 那不就是LLM的垃圾時間, : 接下來比拼的就是平台整合, 應用APP整合, : 以及物理AI, Agent, Edge, : 那就是回到了蘋果跟谷歌的地盤, : 這也是為何最近OpenAI一直親門踏戶到處搶六巨頭的市場, : 比方說做social media搶臉書市場, : 做網購,線上支付,App支付等搶亞麻市場, : 做search 廣告搶谷歌市場, : 直接在ChatGPT app裏頭開啟App Store, 搶蘋果市場, : 因為接下來就是搶平台搶應用APP : 至於這些跑分排行, : 誰的LLM最強等等, : 吹的, 聽聽就好, : 最後都差不多, : 每一兩個月, 甚至一兩個星期就會排名大洗牌, : 最後大家都差不多一樣強 : 我要說的說完了, : 再說下去就是難聽的實話, : 又要遭到一堆OpenAI支持者的攻擊, : 我們接下來做兩個假設, : 1. 假設 "Scaling is over and LLMs are a dead end" 是真的, : 那麼大家都LLM都一樣, : 主要看平台看APP應用, : 不然你就要改算法, 改方向, : 我一直說方向錯了, : 然後被罵爆酸爆, : 的確, : OpenAI看來是要LLM一路走到底, : 沒想要改算法改方向, : 但是這條路明顯到盡頭了 : 2. 假設 "Scaling is over and LLMs are a dead end" 是假的, : 也就是繼續大力出奇蹟, : 堆積越多的算力 就會有越強的LLM AI表現, : 這是過去幾年奧特曼的OpenAI強調的觀點, : 所以過去幾年奧特曼幾乎把市場上的算力給囤滿, : 甚至囤到不夠電力 讓GPU放在倉庫, : 甚至囤到無限加價搶購GPU HBM (這些再說就敏感了) : 如果Scaling可以繼續下去, : 那麼把對手的算力資源給搶走, : 對手也就只能投降 : 但是事實是這樣嗎? DeepSeek我不熟, : 但是我確定Anthropic 的算力是遠遠比不上OpenAI, : 但是Anthropic 的 claude 並不輸(可能還贏) ChatGPT, : 表示算力不是絕對的因素 : 再來說說谷歌的Gemini, : 雖然TPU是量大管飽, : 但是OpenAI 的算力是谷歌的三倍以上, : 證明: : OpenAI已經的算力部署訂單是1.5兆 到2030年, : 平均一年3000億美金(300B), : 谷歌2024-2025年的支出是100B, : 但是這100B是要分給各個部門 (search, youtube, android, public cloud), : AI分到的開支可能連一半都不到, : MSFT AMZN支出也是100B左右, : 也就是說 OpenAI 一年的算力支出是MSFT+AMZN+GOOG+META的總算力支出 : 但是ChatGPT並沒有比Gemini三倍或是十倍聰明, : 說落後Gemini又要被支持者攻擊, : 我們說平手或是稍微領先Gemini, : 但是你ChatGPT花的錢跟算力是Gemini的三倍到十倍, : 明顯Scaling is over, : 算力不是關鍵, : 算法跟方向才是繼續進步的關鍵 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.36.164.58 (美國) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1764922303.A.D4D.html