Stock 板


LINE

問ai很多事情影響力比電力大 以2022為基準 1. 軟體架構 (Software Architecture:演算法優化) 原理:軟體演算法是省電槓桿最大的一環。透過量化(Quantization),將模型從 16 位 元(FP16)降至 4 位元(INT4/FP4)甚至 1 位元,資料搬移與乘法運算的耗電會呈指數 級下降。此外,導入 MoE(混合專家架構)與稀疏化(Sparsity),讓模型在每次生成文 字時只需喚醒 10%~20% 的參數,其餘神經網路處於不耗電的休眠狀態。 單位電力提升預估:約 4.0 倍(用極少的硬體工作量,達成同等的軟體輸出)。 2. Rubin + Groq 架構理念融合 (極致微架構與無控制冗餘) 原理: NVIDIA Rubin 代表了次世代極致的 Tensor Core 微架構,原生支援超低精度(FP4)運 算。 Groq(LPU) 的核心是「確定性執行(Deterministic Execution)」。傳統 GPU 為了排 程,內部有極度耗電的動態調度器(Scheduler)與複雜快取;Groq 將這些控制邏輯全數 拔除,交由軟體編譯器排程,讓矽晶片面積與電力近乎 100% 轉化為純數學運算。 結合兩者(Rubin的運算密度 + Groq消除控制耗電),能消滅晶片內部的「無效耗能(Si licon Tax)」。 單位電力提升預估:約 2.5 倍。 3. TSMC 台積電 2奈米製程 (TSMC N2 Process) 原理:從 5/4 奈米的 FinFET 跨入 2 奈米,台積電首度導入 GAA(環繞閘極奈米片電晶 體) 與 BSPDN(背面供電網路)。GAA 能從四面八方完美控制電流,徹底解決漏電問題 ,並允許晶片在**更低的電壓(Vdd)**下驅動。由於動態功耗與電壓的平方成正比,降 低電壓能帶來龐大的節能紅利。 單位電力提升預估:約 1.8 倍(純半導體物理特性的躍進)。 4. TPU 架構採用 (Systolic Array 脈動陣列) 原理:Google TPU 等專用加速晶片(ASIC)的核心是**「脈動陣列(Systolic Array) 」**。在做 AI 最關鍵的矩陣相乘時,資料像水流一樣在運算單元(ALU)之間直接傳遞 並累加,不需要每次都將中間結果寫回極耗電的暫存器(Registers)。捨棄通用 GPU 的 包袱,換來矩陣運算的極致省電。 單位電力提升預估:約 1.5 倍。 5. HBM 採用 (High Bandwidth Memory 高頻寬記憶體) 原理:打破「記憶體牆」。在 AI 運算中「搬運資料」的耗電往往大於「計算本身」。HB M 透過 3D 矽穿孔(TSV)與 2.5D 封裝,將記憶體緊緊疊在運算晶片旁邊,並用「超寬 通道、低時脈」傳輸。這使每傳輸 1 bit 資料的能耗(pJ/bit)遠低於傳統 GDDR,且晶 片不再因為「等資料」而白白空轉耗電。 單位電力提升預估:約 1.5 倍。 6. 液冷架構 (Liquid Cooling) 原理: 系統層次:傳統氣冷機房的 PUE(電力使用效率)約 1.5(伺服器吃 1 瓦,冷氣與暴力 風扇要耗 0.5 瓦)。改用水冷或浸沒式液冷,能將 PUE 降至 1.05~1.1。 晶片層次:半導體具有「漏電流(Leakage Current)」,溫度越高漏電越嚴重。液冷將 晶片壓制在 50蚓 以下低溫,直接減少晶片 10%~15% 的無效靜態功耗。 單位電力提升預估:約 1.3 倍。 7. 光通訊技術 (Silicon Photonics / CPO 共同封裝光學) 原理:在龐大的 AI 叢集中,高達 20%~25% 的系統功耗用於「晶片與晶片間的網路傳輸 」。傳統銅線在超高頻寬下的傳輸能耗極高(約 15~20 pJ/bit)。改用矽光子技術將電 訊號轉為光子傳遞,傳輸能耗可暴降至 2~5 pJ/bit。省下的龐大網路耗電,全數釋放還 給運算核心。 單位電力提升預估:約 1.2 倍。 在系統工程學中,這 7 項技術由於作用在完全獨立的不同物理層級(軟體演算法、硬體 架構、半導體製程、電路設計、封裝距離、物理降溫、光學傳輸),它們解決的是一條生 產線上的不同瓶頸。因此,這些技術帶來的效能提升是**「相乘(Multiplicative)」** 的乘數效應,而非單純相加。 我們將上述預估值進行連乘計算: 軟體 (4.0) 휠架構 (2.5) 휠2奈米 (1.8) 휠TPU (1.5) 휠HBM (1.5) 휠液冷 (1.3) 휊光通訊 (1.2) 4.0휲.5=10.0 10.0휱.8=18.0 18.0휱.5=27.0 27.0휱.5=40.5 40.5휱.3=52.65 52.65휱.2=63.18Í뼊 其實今年ai變現大概1000億美金 比如沃爾瑪 reels anthropic cat 如果單位電力運算效率提升十倍不夠用 那意味著ai產值將突破兆美元 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.72.222 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1771815663.A.743.html
1F:→ Howard2 : 我昨天問AI 它說今天台股會因為川普關稅大跌 02/23 11:02
2F:噓 cityhunter04: 人類整天問Ai喔….. 02/23 11:04
3F:推 arthur7 : 台積電講錯了A16才有背部供電 02/23 11:10
4F:噓 EnosKP : 你覺得這些是AI想出來的還是被餵的? 02/23 11:22
5F:噓 rebel : 要貼AI結果也整理好 4.0?2.5是什麼鬼東西 02/23 11:27
6F:噓 roseritter : 問AI 丟一堆名詞出來 跟熱力學課本有啥兩樣 02/23 11:28
7F:推 okderla : 好險本科生略懂略懂這些名詞 02/23 11:37
8F:噓 prussian : 這些哪個不在蔡明介說的關鍵方向裡? 沒有閱讀能力 02/23 11:49
9F:→ prussian : ,ai餵再多人蔘給你也是當飼料吃 02/23 11:49
10F:推 guk : 這人2008年可是幹了大事 02/23 12:00
11F:噓 breathair : 你講的跟電力牆沒關係,你講的是電力/Token比值,這 02/23 12:20
12F:→ breathair : 個一直在降沒錯。 02/23 12:20
13F:→ breathair : 什麼是電力牆?假設一塊GPU可以用五年而且仍然需求 02/23 12:20
14F:→ breathair : 遠大於供給,那麼這五年內生產的所有GPU,機櫃等等 02/23 12:20
15F:→ breathair : 全部都會同時滿載狀況,而台積電生產速度越來越快, 02/23 12:20
16F:→ breathair : 每顆晶片耗能越來越多,散熱系統也耗電越來越多,晶 02/23 12:20
17F:→ breathair : 片機櫃製造的速度遠大於電力擴充的速度,在物理上遇 02/23 12:20
18F:→ breathair : 到的電力牆,跟能效比一點關係也沒有 02/23 12:20
19F:→ aloness : 新的油電混合車油耗20km/L,路上就沒有舊車來佔用 02/23 12:30
20F:→ aloness : 道路容量了嗎,這是一樣的概念 02/23 12:30
21F:→ aloness : 新的運算能力升級,舊的成本攤提完了還是照樣用 02/23 12:31
22F:噓 cityhunter04: 普通人不懂熱力學正常啦…但ai幫你整理好還看不懂 02/23 12:36
23F:→ cityhunter04: !白問.. 02/23 12:36
24F:推 towe77 : 不懂PUE說沒關...看新加坡很難嗎 02/23 12:38







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Boy-Girl站內搜尋

TOP