目前與論是這篇測試方法有問題... @@ 旁邊吃瓜中 https://hao.cnyes.com/post/176278 不過作者裡面有Samy Bengio 是AI三巨頭 Yoshua Bengio的弟弟 他們蘋果在去年底之前也發過類似風格一篇 說LLM推里有問題 https://finance.sina.com.cn/roll/2024-10-12/doc-incshnvf0502180.shtml 貌似他們這幾個作者喜歡找一堆會失敗的場景..... 關鍵作者Iman Mirzadeh 已經發了好幾篇反LLM 文章 這部分也是一堆人的吐嘲 認為其他大廠都在讓AI變聰明 你們果家就喜歡測試別人模型 說這玩意哪裡不好哪裡爛 這樣子果家的AI怎追上別人? 而測試方法又是各種千奇百怪 像這次測試方法最近還因為模型token限制翻車 -- 因為這樣我有陣子想反向操作 買點果家股票 想知道會發生怎樣情況@@ ※ 引述《huabandd (我是阿肥巴你頭)》之銘言： : https://is.gd/U7lWC8 : 看到一個影片，非新聞報導，僅創作者想法 : 討論蘋果揭露關於人工智能當中的最大謊言 : 之前也看過一個影片指出 : AI無法產出指針在10:10以外的手錶 : （網路手錶圖片通常指針停留在10:10） : 自己嘗試過幾次確實是這樣 : 因為AI的訓練是基於現有大量資料 : 去產生一個與大量資料相似的產物給你 : 無法產生未曾有過資料的產物 : （以上為個人猜測，若錯誤請指正） : 雖然現在已有研究嘗試將AI接入人類神經元 : 未來思考的方式有可能因此改變 : 不再只是記憶，而是真正的推理 : （但是這好像也是一件滿恐怖的事情？） : 如果說給AI一個圍棋組，但不教他玩法 : 也不讓他參考棋類玩法，讓他自行摸索 : 就像嬰兒拿到玩具後自己亂玩那樣 : AI能夠自行生成玩法是不是就算是成功？ : 中文翻譯 : 蘋果剛剛揭露了人工智慧中最大的謊言，即「思考」的假象，證明了像 Claude、Deepseek- : R1 和 OpenAI 的 o3-mini 等推理模型實際上並不會思考。蘋果沒有重複使用舊有的數學問 : 題，而是創造了這些模型從未見過全新謎題。結果令人震驚。 : 對於簡單問題，標準 AI 模型表現優於昂貴的推理模型，同時消耗更少的資源。對於中等複 : 雜度問題，推理模型顯示出一些優勢，但對於模擬現實世界情境的高複雜度問題，兩種類型 : 的模型都崩潰到 0% 的準確度。 : 這是確鑿的證據：蘋果給予 AI 模型逐步的演算法，就像給某人食譜一樣，但它們仍在相同 : 的門檻下失敗了。這證明它們無法遵循邏輯指令。該研究沒有發現任何形式推理的證據，得 : 出結論認為其行為最好用複雜的模式匹配來解釋。 : 簡單地更改名稱和問題會顯著降低性能。蘋果測試了河內塔（Tower of Hanoi）謎題，模型 : 在超過 100 步的移動中成功了，但在新穎的渡河謎題中僅僅 4 步後就失敗了。它們是記憶 : 模式，而不是進行邏輯推理。 : 隨著問題變得越來越難，「思考」模型使用的 token 越來越少，放棄得更快，而不是更深 : 入地思考。即使無限的計算資源也無濟於事。這揭示了數十億美元的 AI 投資是建立在錯誤 : 前提上的。 : 公司將複雜的模式匹配宣傳為真正的推理，誤導消費者對 AI 能力的認知。我們離通用人工 : 智慧（AGI）的距離並沒有大家想像的那麼近；我們正在處理的是非常複雜的自動完成系統 : 。當先進的 AI 推理模型連遵循簡單指令都失敗時，我們是否正生活在一個建立在幻想之上 : 的 AI 炒作泡沫中？ : 英文原文 : Apple just exposed the biggest lie in AI with the illusion of "thinking," provin : g that reasoning models like Claude, Deepseek-R1, and OpenAI's o3-mini don't act : ually think. Instead of recycling math problems, Apple created brand new puzzles : these models had never seen. The results were shocking. : For simple problems, standard AI models outperformed expensive reasoning models : while using fewer resources. For medium complexity, reasoning models showed some : advantage, but for high complexity problems that mirror real-world scenarios, b : oth types collapsed to 0% accuracy. : Here's the damning evidence: Apple gave AI models step-by-step algorithms, like : giving someone a recipe, and they still failed at the same thresholds. This prov : es they can't follow logical instructions. The study found no evidence of formal : reasoning, concluding behavior is better explained by sophisticated pattern mat : ching. : Simply changing names and problems degraded performance dramatically. Apple test : ed Tower of Hanoi puzzles, where models succeeded with 100-plus moves but failed : at novel river crossing puzzles after just 4 moves. They memorized patterns rat : her than reasoned logically. : As problems got harder, "thinking" models used fewer tokens and gave up faster i : nstead of thinking deeper. Even unlimited computational resources couldn't help. : This exposes that billions in AI investment are based on false premises. : Companies market sophisticated pattern matching as genuine reasoning, misleading : consumers about AI capabilities. We are not as close to AGI as everyone thinks; : we're dealing with very sophisticated autocomplete systems. When advanced AI re : asoning models fail at following simple instructions, are we living in an AI hyp : e bubble built on illusions? --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1750008748.A.A5E.html ※ 編輯: LDPC (76.21.72.78 美國), 06/16/2025 01:39:39