作者waitrop (嘴炮无双)
看板Stock
标题Re: [新闻] 减少依赖辉达 传微软将推自研首款AI晶片
时间Sun Oct 8 16:05:17 2023
每次讨论到Nvidia 就会引战，
但是看到一堆不实的指控，
又会让我忍不住想说明，
然後就引战删文，无限循环
先说结论：CUDA
就此打住，再多说就是引战
这几家大型软体公司有自己的晶片与硬体研发团队已经十几年以上，
当然有自己的AI晶片一点都不会意外，
就以新闻说的微软来讨论，
微软AI晶片主要有两个项目: OpenAI, Cloud
OpenAI 用的晶片是微软跟AMD合作，
由AMD主力开发卖给微软
Cloud的部分才是新闻说的首款自制晶片，
这款自制晶片的研发团队由两个主力组成:
xbox硬体团队 + 原snapdragon cpu core团队，
原snapdragon cpu core团队被高通整组裁员之後全部被微软收下，
改作微软Cloud 的晶片,
xbox硬体团队除了xbox之外，
比较有名的是hololen project,
这个团队实力很强，
做出来的AI晶片应该是不错,
不过微软很多时候做硬体只是为了杀价用，
让人怀疑他们自己软体部门是否会愿意使用这款自制的晶片
同样情况Amazon AWS有一堆自制的晶片与硬体，
最有名的是AWS ARM CPU 跟 lab126,
同样的Google Cloud 也有一堆自制晶片与硬体，
甚至安卓/pixel/nest 也有一堆自制晶片，
所以不要以为市场只有Nvidia 能做AI晶片，
这些大型软体公司都有能力做AI晶片，
效能都不输Nvidia，
问题在CUDA (我不多做解释了)
※ 引述《Lushen (pttlushen)》之铭言：
: 上次台裔Google科学家纪怀新Ed H. Chi (L9)来台湾接受访问的时候就有谈到这个:
: 今天记者会上，纪怀新也解密，其实 Google 在训练 AI 时，100% 使用的都是自家的
: TPU，「Google 很早就在 AI 领域投入了大量资源，包括硬体，包括里头的数学、算法等
: ，这些都是我们的强项。」
并不是100% 使用的都是自家的TPU，
最多就只是他的部门的某一两个project 用自家的TPU,
我没有详细数字，
但是我猜大概50%用自家的TPU
原因很简单，
自家的TPU是对自家特殊的算法做加速,
每个TPU的设计都不同，不能共用，
比方说，
现在最热门的LLM需要极大的记忆体空间，
对运算速度需求反而不是最大瓶颈，
所以会有一款特制TPU把记忆体拉到最大来符合LLM需要，
但是这款TPU拿去做search, youtube 图像辨识等等却又不适用了，
并不是每个算法与专案项目都有相对应的TPU，
可能难度过大或是需要的资源过多，
也有可能这个专案只需要一些机器就够用，
也有可能这个专案只需要一次性短时间train data,
所以很多算法与专案项目是直接拿Nvidia or AMD GPU
: Google 2023 最新的论文
: TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with
: Hardware Support for Embeddings
: Abstract
: 1.2x–1.7x faster and uses
: 1.3x–1.9x less power than the Nvidia A100
客制化的TPU or ASIC一定比GPU快，
某些TPU在某些特殊算法上面的应用甚至比H100 快很多，
但是这些TPU or ASIC并不是通用AI 晶片，
无法通用在各式各样的算法与应用
: 大公司自己搞这些东西没问题
: 没资源搞这些有的没的 还是只能跟Nvidia买没冲突
: 至於什麽生态
: 大公司完全可以自己在公司搞一套自己专用的工具
: 进来的人自然会想办法学会这套工具怎麽用
: https://www.inside.com.tw/article/32510-Google-Bard-Ed
: 微软要搞铲子好啊
: 还是只能找台积电代工
: 代工铲子94舒服
: ※ 引述《jerrychuang ()》之铭言：
: : 原文标题：
: : 减少依赖辉达 传微软将推自研首款AI晶片
: : 原文连结：
: : https://ec.ltn.com.tw/article/breakingnews/4451397
: : 发布时间：
: : 2023/10/07 11:13
: : 记者署名：
: : 原文内容：
: : 〔财经频道／综合报导〕根据《The Information》报导，微软（Microsoft）可能下个月
: : 在其年度开发者大会上，推出首款专为人工智慧 （AI）设计的晶片。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.103.225.6 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1696752319.A.D76.html
1F：推 kakar0to : CUDA只是一个语言.要取代很容易 10/08 16:07
2F：推 zerro7 : 苹果只是一种手机 要取代很容易? 10/08 16:08
3F：推 pkro12345 : 晶片只是一堆砂子 要取代很容易 10/08 16:09
4F：推 la8day : 长久下来还是会不断有人试着用ASIC 10/08 16:11
5F：→ stkoso : 那你慢慢取代 我都赚烂了10几年後你再开始赚 10/08 16:11
6F：→ Brioni : CUDA是框架吧？Linux: fxxx you NV 10/08 16:21
7F：→ Brioni : 怎没人弄一个开源的？还是都寄望OpenCL?不可能吧 10/08 16:22
8F：→ Brioni : 不过玩大颗GPU的其他大厂也只有AMD、牙膏，他们不合 10/08 16:25
9F：→ Brioni : 作搞开源新框架，其他厂就是继续自己开ic 10/08 16:25
10F：推 xm3u4vmp6 : 可以参考George Hotz的想法 10/08 16:25
11F：→ xm3u4vmp6 : 他讲过AMD驱动就是烂到爆 软体烂 10/08 16:26
12F：→ xm3u4vmp6 : 一堆想搞ai晶片的思路是错的 要从软体先下手 10/08 16:27
13F：推 abccbaandy : 1F嘴炮谁不会？ 这麽多年有人取代了？ 10/08 16:30
15F：→ xm3u4vmp6 : 23/05/24/the-tiny-corp-raised-5M.html 10/08 16:35
16F：推 xm3u4vmp6 : 一堆新创ai晶片多少死掉 根本骗投资人 重点是让现 10/08 16:40
17F：→ xm3u4vmp6 : 有的软体无脑运作顺畅在你的晶片 10/08 16:40
18F：→ xam : 通常开源的缺点就是驱动力不足,优点也是没驱动力的 10/08 16:42
19F：→ xam : 情况下 10/08 16:42
20F：→ lolpklol0975: 像IOS的生态? NV也创建自己的生态 10/08 16:58
21F：→ bnn : 生态圈是几万几十万开发者的力量 你要一家公司对干 10/08 17:03
22F：→ bnn : 你要嘛证明说你有成倍的提升 要嘛你更简单好用上手 10/08 17:04
23F：→ bnn : 不然你就要降价够便宜让其他公司跟你租 10/08 17:05
24F：→ k85564 : 1F嘴炮 csp用自己的晶片不可能完全取代gpu的 10/08 17:22
25F：推 henry326326 : 1F是我看过今天最好笑的话，完美的展现出对软体业 10/08 17:53
26F：→ henry326326 : 的无知 10/08 17:53
27F：推 pacino : 黄董说过：NVDA是软体公司。知道了吧？ 10/08 19:46
28F：推 TWkobe5566 : C++也是一种语言 要取代很容易XD 10/08 20:18
29F：→ xm3u4vmp6 : 我在等tinygrad超猛电脑只要15000镁 10/08 21:42
30F：推 xm3u4vmp6 : 可以先预购 超便宜的啦 10/08 21:44
31F：推 Sixigma : 台积电也只是一家公司，要取代很容易 10/08 21:45
32F：推 q3512768 : 1F是在反串吗吓死了 10/08 22:06
33F：推 dragonjj : 其实AMD也有在搞 但是没有CUDA 加上一堆演算法专家 10/08 22:08
34F：→ dragonjj : 不去支援 所以CUDA就读大了! 10/08 22:08
35F：推 twlin : 微软今年初已经把整个cpu core团队裁掉了… 10/08 22:55
能做事比不上政治正确,
这件事我十年前就看破了,
十年前明明做出64bit kryo,
却因为政治问题被上层压着不出反而去用ARM IP,
之後却把过错怪在这个组上面大裁员,
当时我就看破离开,
IP 组没挂revenue 的都是这样任人宰割,
後来他们约我去微软开发AI 晶片,
但是我进去之後还是觉得这条路不是办法,
必须要自己掌握住revenue 跟 end product 才行,
所以我又离开了
现在他们加入ARM 应该会比较好一点,
在Jeff 下面有他保护着,
不会有这些政治问题,
Jeff 是个好人,
也跟我一起流浪到这几个组,
他算是自己人,
也很了解他们的政治问题
36F：嘘 ekgs : CUDA弄开源XDDD 我看你逆向工程要做到哪时 10/08 23:14
37F：推 fourkg : 你忘了推TQQQ 10/09 00:22
38F：→ kamitengo : 那为啥tesla要搞dojo？这些在台面上的都富可敌国， 10/09 00:35
39F：→ kamitengo : 请foundry代工後自用，针对自己的应用优化设计，也 10/09 00:35
40F：→ kamitengo : 不对外销售，nv想阻挡都无从下手。这几家开始 10/09 00:35
41F：→ kamitengo : tape out就是现在进行式 10/09 00:35
42F：推 jin20040117 : 很多地方很精辟喔 他们的SoC团队跟DDR团队很有实力 10/09 00:50
43F：推 tanted : CUDA 应该是类似编译器 10/09 01:44
44F：推 ejnfu : 那还是皮衣刀客有远见啊 10/09 01:50
※ 编辑: waitrop (76.103.225.6 美国), 10/09/2023 04:55:21
45F：推 zerro7 : 看CUDA的历史 十几年前就开始推了 用习惯很难跳吧 10/09 08:17
46F：→ zerro7 : 除非有足够诱因 更便宜 更好用之类的 10/09 08:17
47F：推 revorea : 只是一个语言(笑烂 10/09 08:30
48F：推 create8 : 把软体做好对一群vendors 来说是很困难的.. 谁不想 10/09 11:48
49F：→ create8 : 往大型软体公司跳.. 10/09 11:48
50F：推 brightest : 不是政治问题吧 而是cp问题 用别人的ip划算就不用 10/09 22:36
51F：→ brightest : 自己养 ip厂当然就没这个问题 10/09 22:36
52F：推 nangaluchen : tesla开dojo两个原因 10/09 23:07
53F：→ nangaluchen : 1.tesla focus 在自驾 应用相当狭隘 适合自己开ADIC 10/09 23:07
54F：→ nangaluchen : 2.Musk本来就是很爱搞新项目的人 他想试试看 10/09 23:07
55F：→ nangaluchen : 但tesla终究在遇到非自驾的部分 还是要回来买H100 10/09 23:08
56F：→ moonshade : 问题在产量和整合问题，自制晶片整合要靠自己 10/10 07:52
57F：→ moonshade : 只有大公司才玩得起，但AI是个百家争鸣的时代 10/10 07:52
58F：→ moonshade : 大家都在挖矿，卖铲子的比起自制铲子关起门来挖的 10/10 07:53
59F：→ moonshade : 优势还是大多了 10/10 07:53
60F：嘘 quartics : 并颁发这些大公司内部都有自己的开发框架，用不 10/10 19:54
61F：→ quartics : 用CUDA根本不是问题！ 10/10 19:54