作者LDPC (Channel Coding)
看板Stock
標題Re: [請益] 其他軟硬體公司會聯合鬥Nvidia的壟斷嗎？
時間Sun May 18 03:23:59 2025
@@ 其實老黃的情況跟台積電有點像 單顆gpu快 蘇媽已經示範給你看過了
最大問題是整個node-to-node cluster-to-cluster 平行串連 也就是所謂的scale
一堆gpu連起來時候 一堆問題就會出現 LLM inferece端都要拆解不同
cluster-to-cluster運算 LLM一個回答問題還拆解prefill和generation兩個不同cluster
(
https://blog.csdn.net/qq_32204441/article/details/139483688 )
這種就是考驗整個data center軟硬大結合 老黃整個社群 使用者都一起幫他debug
你可以看LLAMA2 報告說道 h100在萬顆結合時 各種bug
meta infra team後來都優化解決掉 那些bug都是會回饋給NVDA 像是溫度多少 幾顆以上
會以一起崩 如何用分配computation pressure loading 傳輸速度怎樣優化避免崩等等
這塊就是AI Infra 在業界Infra是個大工作崗位 現在AI Infra都是基於NVDA規格
去優化 像是Linkedin自家再推Liger Kernel AI Infra
https://github.com/linkedin/Liger-Kernel
https://pytorch.org/blog/peak-performance-minimized-memory/
OpenAI Triton也是AI Infra 優化 Stanford課程甚至都用Triton (Cuda框架)
https://stanford-cs336.github.io/spring2024/ (assignment 2)
馬上貢獻大學生免費debug ai infra仔給老黃
(偵測bug貢獻 大概都會像是這種
https://github.com/NVIDIA/cuda-samples/issues )
蘇媽的
https://github.com/ROCm/ROCm/issues @@ 一堆under investigation....
慘不忍睹...蘇媽QQ 加油....
當你一堆萬人陪你練功 這玩意就是護城河 你看i皇/*** 為啥追不上台積 就是有客戶
陪他練功 @@ AI infra也是 比單顆快 誰都可以 比到data center成面 就很難
連DeepSeek自己的 低成本訓練框架 也是基於cuda底層重寫的AI infra
現在在搶用戶黏度下 同樣模型 晚點推出 就失去市場 @@ 整個生態全幫你收集各種bug
你叫其他廠怎樣打 唯一的可能對手就是對岸 所以老黃賣低階晶片才能鎖對岸
總結 算力晶片不在於單科 而是整個大系統 長時間效能 這需要大量社群幫忙debug
老黃的護城河就是從2012 AlexNet開始的護城河 或者更早可追朔到2006....
現在高中生都在寫AI Infra/算法 @@ 你諸位不害怕嗎 漫畫世界高中可以打贏成人世界
在AI界已經成真了 不限年齡大混戰 小學生都可以參賽了......
※ 引述《Shiva (Shiva)》之銘言：
: 挑戰者不少吧，也不是最近才出現
: 大公司組AI大聯盟：
: Meta、IBM 發起 AI 大聯盟，Intel、AMD 等 50 個企業組織也共襄盛舉
: https://tinyurl.com/yjmn4pyp
: 將開發人工智慧評估標準與相關工具資源，藉此協助更好的人工智慧系統開發。
: 一起建立新標準，直接訂標準給大家follow，超給力有夠生猛
: 要贏Nvidia大概沒那麼快，但是陣仗也不小了
: 也有宣稱打趴Nvidia的小公司：
: 出現勁敵了！加州新創公司開發新晶片 比輝達快20倍
: https://tinyurl.com/pkpswsh9
: 速度比輝達GPU快20倍，連超微和英特爾也望塵莫及
: Cerebras速度超快，科技業要的不就是這個？
: Nvidia AMD intel有壓力嗎？
: 黃仁勳反抗軍來了！藏身竹科、內湖小廠，晶片效能比輝達強2倍
: https://tinyurl.com/2vundffn
: 創鑫「反黃仁勳」的台灣戰隊
: 直接組戰隊反黃仁勳，應該在這領導下台灣隊殺爆Nvidia了吧？
: 台灣小粉綠藍白黃一起喊殺聲衝衝衝，頭也不回直接碾過去了吧？
: 新秀創鑫智慧，它憑什麼能在「高能效」打敗 NVIDIA
: https://tinyurl.com/z2u7vcdr
: 打敗輝達（NVIDIA），成為世界第一能效的 AI 加速平台
: 能效世界第一！電力有限產能有限，世界各廠還不跪著求晶片嗎？
: CUDA生態系統是不是有危機了？
: ※ 引述《nissan168 (pingGO)》之銘言：
: : 我是看完黃仁勳的自傳，再扒了文章後。才知道黃仁勳在2007年就佈局Cuda的平台，現在
: : 是軟體、硬體都形成生態鏈，才會讓Nvidia變成AI時代的發動引擎。
: : Intel、AMD、蘋果、谷歌、微軟、亞馬遜、臉書、特斯拉...這些大公司，怎麼可能接受
: : 一家獨大！
: : 他們有再開發一套公開的平台，來進行反向傳播演算法嗎？
: : 現在的AI都是建立在辛頓演算法的基礎上。
: : 每年要花幾百億美元給Nvidia？
: : 未來都這樣？
: : 都沒有公開的平台規則，讓所有人都可以用嗎？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1747509845.A.030.html
1F：噓 a000000000 : 樓下色情小學生 05/18 03:39
2F：推 mystage : 生態系才是護城河。 05/18 03:47
3F：推 stlinman : 難怪美國禁止有人替華為練功（用華為產品）！ 05/18 03:59
4F：噓 aasslleepp : 很好 很強大 05/18 04:02
5F：推 ImHoluCan : 你各位加油，股東靠你們了 05/18 04:40
6F：→ ImHoluCan : 羅馬不是ㄧ天造成的，那些說要自研或什麼的保重吧 05/18 04:45
7F：→ ImHoluCan : ，要AI唯有nvidia ，其它繼續騙，專業的交給專業， 05/18 04:45
8F：→ ImHoluCan : 互相配合各自善常的領域 05/18 04:45
9F：→ haha98 : linkedin 不就許秉倫那個 之前到處演講 05/18 05:39
※ 編輯: LDPC (76.21.72.78 美國), 05/18/2025 06:55:22
10F：推 pacino : 高中生欸，不準備升學考試？ 05/18 07:17
11F：→ hayato01 : 是要害怕什麼==自己嚇自己 05/18 07:18
12F：推 sdbb : 謝謝 05/18 07:59
13F：→ fujioqq : 真的 台積當初也是主打跟客戶一起成長@@ 05/18 08:54
14F：→ benson502 : 朋友小孩幼稚園就在學語言coding了 你怕不喔 05/18 09:44
15F：→ flyawayla : 2008 當初在學校免費用nv gpu + cuda 就是幫忙debug 05/18 10:41
16F：→ flyawayla : …. 05/18 10:41
17F：→ kusotoripeko: 幼稚園學coding，先幫眼球默哀 05/18 11:27
18F：推 truelove356 : 看來還是用EUV 卡華為 05/18 11:56
19F：推 ProTrader : 應該說使用AI工具的高中生普通人有機會贏過專家學者 05/18 11:58
20F：推 Raptors1 : 用空格當逗號的人大談算法有種莫名喜感 05/18 12:08
21F：→ zhi5566 : 9X 的NVDA撿的好香 150再倒給韭菜 下一波突破大概 05/18 12:12
22F：→ zhi5566 : 是機器人吧 110以下買 140以上賣 作波段 05/18 12:13
23F：推 GinginDenSha: Ok All in NV 讓他們瞧瞧大人的魔法 05/18 14:46
24F：推 jerrychuang : 強翻了 05/18 17:29
25F：推 linweida : GOGO TSMC GOGO NVDA 05/18 19:52
26F：推 zanthia99 : 05/18 21:03
27F：推 Zoxge : 保護的很好 gogo 05/18 22:47
28F：推 jyhfang : NVDA這方面真的很狂 05/19 00:28
29F：→ sean667cd : 推LD ! 05/21 04:41