作者LDPC (Channel Coding)
看板Stock
标题Re: [请益] 其他软硬体公司会联合斗Nvidia的垄断吗？
时间Sun May 18 03:23:59 2025
@@ 其实老黄的情况跟台积电有点像 单颗gpu快 苏妈已经示范给你看过了
最大问题是整个node-to-node cluster-to-cluster 平行串连 也就是所谓的scale
一堆gpu连起来时候 一堆问题就会出现 LLM inferece端都要拆解不同
cluster-to-cluster运算 LLM一个回答问题还拆解prefill和generation两个不同cluster
(
https://blog.csdn.net/qq_32204441/article/details/139483688 )
这种就是考验整个data center软硬大结合 老黄整个社群 使用者都一起帮他debug
你可以看LLAMA2 报告说道 h100在万颗结合时 各种bug
meta infra team後来都优化解决掉 那些bug都是会回馈给NVDA 像是温度多少 几颗以上
会以一起崩 如何用分配computation pressure loading 传输速度怎样优化避免崩等等
这块就是AI Infra 在业界Infra是个大工作岗位 现在AI Infra都是基於NVDA规格
去优化 像是Linkedin自家再推Liger Kernel AI Infra
https://github.com/linkedin/Liger-Kernel
https://pytorch.org/blog/peak-performance-minimized-memory/
OpenAI Triton也是AI Infra 优化 Stanford课程甚至都用Triton (Cuda框架)
https://stanford-cs336.github.io/spring2024/ (assignment 2)
马上贡献大学生免费debug ai infra仔给老黄
(侦测bug贡献 大概都会像是这种
https://github.com/NVIDIA/cuda-samples/issues )
苏妈的
https://github.com/ROCm/ROCm/issues @@ 一堆under investigation....
惨不忍睹...苏妈QQ 加油....
当你一堆万人陪你练功 这玩意就是护城河 你看i皇/*** 为啥追不上台积 就是有客户
陪他练功 @@ AI infra也是 比单颗快 谁都可以 比到data center成面 就很难
连DeepSeek自己的 低成本训练框架 也是基於cuda底层重写的AI infra
现在在抢用户黏度下 同样模型 晚点推出 就失去市场 @@ 整个生态全帮你收集各种bug
你叫其他厂怎样打 唯一的可能对手就是对岸 所以老黄卖低阶晶片才能锁对岸
总结 算力晶片不在於单科 而是整个大系统 长时间效能 这需要大量社群帮忙debug
老黄的护城河就是从2012 AlexNet开始的护城河 或者更早可追朔到2006....
现在高中生都在写AI Infra/算法 @@ 你诸位不害怕吗 漫画世界高中可以打赢成人世界
在AI界已经成真了 不限年龄大混战 小学生都可以参赛了......
※ 引述《Shiva (Shiva)》之铭言：
: 挑战者不少吧，也不是最近才出现
: 大公司组AI大联盟：
: Meta、IBM 发起 AI 大联盟，Intel、AMD 等 50 个企业组织也共襄盛举
: https://tinyurl.com/yjmn4pyp
: 将开发人工智慧评估标准与相关工具资源，藉此协助更好的人工智慧系统开发。
: 一起建立新标准，直接订标准给大家follow，超给力有够生猛
: 要赢Nvidia大概没那麽快，但是阵仗也不小了
: 也有宣称打趴Nvidia的小公司：
: 出现劲敌了！加州新创公司开发新晶片 比辉达快20倍
: https://tinyurl.com/pkpswsh9
: 速度比辉达GPU快20倍，连超微和英特尔也望尘莫及
: Cerebras速度超快，科技业要的不就是这个？
: Nvidia AMD intel有压力吗？
: 黄仁勳反抗军来了！藏身竹科、内湖小厂，晶片效能比辉达强2倍
: https://tinyurl.com/2vundffn
: 创鑫「反黄仁勳」的台湾战队
: 直接组战队反黄仁勳，应该在这领导下台湾队杀爆Nvidia了吧？
: 台湾小粉绿蓝白黄一起喊杀声冲冲冲，头也不回直接碾过去了吧？
: 新秀创鑫智慧，它凭什麽能在「高能效」打败 NVIDIA
: https://tinyurl.com/z2u7vcdr
: 打败辉达（NVIDIA），成为世界第一能效的 AI 加速平台
: 能效世界第一！电力有限产能有限，世界各厂还不跪着求晶片吗？
: CUDA生态系统是不是有危机了？
: ※ 引述《nissan168 (pingGO)》之铭言：
: : 我是看完黄仁勳的自传，再扒了文章後。才知道黄仁勳在2007年就布局Cuda的平台，现在
: : 是软体、硬体都形成生态链，才会让Nvidia变成AI时代的发动引擎。
: : Intel、AMD、苹果、谷歌、微软、亚马逊、脸书、特斯拉...这些大公司，怎麽可能接受
: : 一家独大！
: : 他们有再开发一套公开的平台，来进行反向传播演算法吗？
: : 现在的AI都是建立在辛顿演算法的基础上。
: : 每年要花几百亿美元给Nvidia？
: : 未来都这样？
: : 都没有公开的平台规则，让所有人都可以用吗？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1747509845.A.030.html
1F：嘘 a000000000 : 楼下色情小学生 05/18 03:39
2F：推 mystage : 生态系才是护城河。 05/18 03:47
3F：推 stlinman : 难怪美国禁止有人替华为练功（用华为产品）！ 05/18 03:59
4F：嘘 aasslleepp : 很好 很强大 05/18 04:02
5F：推 ImHoluCan : 你各位加油，股东靠你们了 05/18 04:40
6F：→ ImHoluCan : 罗马不是ㄧ天造成的，那些说要自研或什麽的保重吧 05/18 04:45
7F：→ ImHoluCan : ，要AI唯有nvidia ，其它继续骗，专业的交给专业， 05/18 04:45
8F：→ ImHoluCan : 互相配合各自善常的领域 05/18 04:45
9F：→ haha98 : linkedin 不就许秉伦那个 之前到处演讲 05/18 05:39
※ 编辑: LDPC (76.21.72.78 美国), 05/18/2025 06:55:22
10F：推 pacino : 高中生欸，不准备升学考试？ 05/18 07:17
11F：→ hayato01 : 是要害怕什麽==自己吓自己 05/18 07:18
12F：推 sdbb : 谢谢 05/18 07:59
13F：→ fujioqq : 真的 台积当初也是主打跟客户一起成长@@ 05/18 08:54
14F：→ benson502 : 朋友小孩幼稚园就在学语言coding了 你怕不喔 05/18 09:44
15F：→ flyawayla : 2008 当初在学校免费用nv gpu + cuda 就是帮忙debug 05/18 10:41
16F：→ flyawayla : …. 05/18 10:41
17F：→ kusotoripeko: 幼稚园学coding，先帮眼球默哀 05/18 11:27
18F：推 truelove356 : 看来还是用EUV 卡华为 05/18 11:56
19F：推 ProTrader : 应该说使用AI工具的高中生普通人有机会赢过专家学者 05/18 11:58
20F：推 Raptors1 : 用空格当逗号的人大谈算法有种莫名喜感 05/18 12:08
21F：→ zhi5566 : 9X 的NVDA捡的好香 150再倒给韭菜 下一波突破大概 05/18 12:12
22F：→ zhi5566 : 是机器人吧 110以下买 140以上卖 作波段 05/18 12:13
23F：推 GinginDenSha: Ok All in NV 让他们瞧瞧大人的魔法 05/18 14:46
24F：推 jerrychuang : 强翻了 05/18 17:29
25F：推 linweida : GOGO TSMC GOGO NVDA 05/18 19:52
26F：推 zanthia99 : 05/18 21:03
27F：推 Zoxge : 保护的很好 gogo 05/18 22:47
28F：推 jyhfang : NVDA这方面真的很狂 05/19 00:28
29F：→ sean667cd : 推LD ! 05/21 04:41