Tech_Job 板


LINE

AI的Scaling Law能否持續下去,關係著未來AI產業的興衰啊! 原文網址:https://bit.ly/49l8Ctj 原文: 對矽谷來說,進入AI時代,摩爾定律已經被一個新概念取代,即是AI的「Scaling Law」 。這意味著廠商必須將更多的數據放入更大的AI模型中,再透過更多的運算能力,尋找到 更智慧的系統。這種洞察力為AI的進步帶來了火箭般的推動,將開發的重點從解決棘手的 科學問題轉變為建構更大的晶片集群。 簡言之,隨著ChatGPT的推出,Scaling Law開始嶄露頭角。在接下來的兩年裡,AI系統的 快速進步似乎表明,這條法則一直很有效,直到十年內達到某種“超級智慧(super intelligence)”為止。 然而,在過去的一個月裡,科技產業界的傳言愈來愈響亮,因為OpenAI、谷歌和 Anthropic等公司的最新模型並未顯示出符合Scaling Law預測的預期改進。 可是OpenAI的Sam Altman於2024年11月在X上發文表示AI發展沒有碰壁。Anthropic的執行 長Dario Amodei和輝達的執行長黃仁勳也對AI進展放緩的報道提出了異議。 對科技業來說,這是一個價值數兆美元的問題。如果久經考驗的AI模型訓練方法帶來的回 報遞減,它可能會破壞前所未有的投資週期的核心,即投入新創公司、產品和資料中心資 金將縮減,甚至重新啟動閒置的核電廠的計劃也將延遲。 研究人員指出了公司在AI開發的早期階段(稱為預訓練)可能遇到的兩個關鍵障礙。首先 是獲得運算能力,其次是訓練資料。輝達和其他公司正在克服AI晶片產出的限制,這幾年 後將逐步解決。至於訓練資料,其涉及使用大量資料訓練LLM,這些資料通常從網路上抓 取,然後由GPU進行處理。然後,該資訊被分解為“標記”,這些“標記”構成了模型處 理資料的基本單位。 雖然年復一年地向模型投入更多的資料和GPU可以可靠地產生更智慧的模型,但公司已經 耗盡了網路上公開可用的資料供應。研究公司Epoch AI預測,到2028年,可用的文字資料 可能會被榨乾。 當然,Scaling Law從來都不是鐵律。儘管如此,Scaling Law的假說仍加劇“對錯過下一 次重大科技轉型的恐懼”,導致大型科技公司對AI進行了前所未有的投資。摩根士丹利表 示,微軟、Meta、亞馬遜和谷歌的資本支出於2024年將超過2000億美元,2025年將超過 3000億美元。 不過,大多數企業仍在尋找AI的殺手級應用程式,尤其是在需要ChatGPT o1推理能力的領 域。在AI擴張的投機階段,輝達成為世界上最有價值的公司。可是Scaling Law的論點突 顯了其未來仍取決於大型科技公司從這些巨額投資中獲得實際的回報。一旦過了一年被產 業界發現,AI的確面臨難以短期突破的高牆,這時候輝達甚至台積電,甚至整個AI產業將 面臨的困境,將是難以估計的損失啊! --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Tech_Job/M.1733195899.A.1AA.html
1F:推 zyliu : 謝謝分享 12/03 12:36
2F:→ yunf : 既然不是鐵律 就可以把law拿掉 12/03 13:13
3F:→ yunf : 選上了來戳泡泡 12/03 13:14
4F:推 Latte7 : 黃仁勳財報已經解答了,記者智商? 12/03 13:38
5F:推 jamesho8743 : 目前的LLM大概已接近瓶頸 第一個是scaling law問題 12/03 18:31
6F:→ jamesho8743 : 目前還不知道是否到底了 能不能持續下去隨著算力 12/03 18:31
7F:→ jamesho8743 : 增加而變聰明 第二個是可見的資料(優質的 不重複的 12/03 18:31
8F:→ jamesho8743 : )即將用盡 第三就算前兩個不是問題 資金投資的規模 12/03 18:31
9F:→ jamesho8743 : 也即將碰壁 現在投資的規模已經很大了 如果未來沒 12/03 18:31
10F:→ jamesho8743 : 有更大的回報很難讓廠商砸更多的錢跟能源在這上面 12/03 18:31
11F:→ houseguy : 能源是永遠不夠用的了 12/04 06:42
12F:→ yunf : 早說過了 奧特曼前幾個月就在吵要核電 12/04 09:22
13F:→ yunf : 早就說行不通他只是個屁孩 12/04 09:22
14F:→ cancelpc : AI跟之前的大數據一樣,很專業,也要有known how 12/12 13:27
15F:→ cancelpc : 現在一堆人亂畫餅,幾年增加20萬AI人才一樣騙 12/12 13:28







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:e-shopping站內搜尋

TOP