作者waitrop (嘴炮无双)
看板Stock
标题Re: [新闻] 阿里巴巴推新晶片 中企抢攻自主技术拼不
时间Mon Sep 1 08:11:46 2025
周末来闲聊美中AI晶片的故事,
这是我个人观点也会加上我对未来十年的看法,
我尽量避免中美政治议题与办公室政治学
先说结论,
这也是我当年面试高通SnapDragon Core team时,
最大的头跟我说的话:
业界一直在重复循环相同的发展,
从大到小, 小再到大,
从单机到分散式处理, 再从分散式处理到单机
他当年在IBM做Mainframe,
同时期的竞争对手是SunMicro System,
当时的情况就跟现在AI比拼算力一模一样,
大家都想尽办法做出超级电脑,
结果他们团队在离开IBM时的最後一个project,
是跟苏大妈合作的cell process, 给游戏机使用,
然後他们出来开公司做的是手机ARM CPU,
而同样的对手从SunMicrso System离开也是开公司(PA Semi)做手机ARM CPU,
又很巧合的一家被高通收购,
另一家被苹果收购,
他说他们无法想像同一个团队做比一个房间还要大的超级电脑,
最後居然是做比一个指甲还要小的手机CPU
以下是我的看法,
AI 晶片正在走过一模一样的路,
现在处在堆算力的超级电脑阶段,
之後一定会慢慢演变到EdgeAI,
模型也一定会从LLM 慢慢转变成分散式处理的SLM,
我无法给确切时间,
但是我猜两三年内会转换成分散式处理的SLM,
EdgeAI的应用应该在三到五年内会普及,
再多说就太底层的东西,
我自己也不是很懂,
反正你上网找SLM, LLM, EdgeAI 就能找到相对应的公司股票
接下来我用编年史的方式描述AI晶片的发展过程,
大概在2010年之前,
大部分的ML都还是靠CPU 运算比较多,
GPU加速有, 但是帮助不大,
真正带起这波AI浪潮的关键在2010年初期,
有人拿GPU 去跑类神经网路 (neural network),
把一个卡住四五十年的人类古老科技 (neural network),
用GPU 的算力重新定义,
也就是Deep Learning,
AI 晶片突然火红起来
在2010年初,
只有NVDA GPU能跑Deep Learning,
华为在那时候想开发类似的AI 晶片跑Deep Learning,
也就是昇腾的第一版,
同时间,
寒武纪把NPU AI晶片的想法实现在手机上,
谷歌那时候也看到Deep Learning的威力, 开始开发TPU
所以第一波AI晶片的领跑者是NVDA,
谷歌, 华为, 寒武纪大概落後NVDA一两年,
不过同样是第一梯队
手机NPU的研发相对没那麽困难,
所以隔不久,
很多公司也就跟着发表类似的手机NPU,
包含苹果, 高通, 谷歌 (Tensor), 联发科 (後来分出来成耐能科技),
这大概是2016年左右
但是server端的AI 晶片开发并不顺利,
很多公司尝试打入 server AI 晶片, 全都失败,
这段时间, 2016-2022年,
只有NVDA 一家寡占,
其中有一些公司陆续开发一些ASIC,
像是阿里巴巴的含光, Amazon ASIC, 谷歌TPU,
但是"每年"一直持续开发演进的只有谷歌TPU,
原因是AI应用达到瓶颈了,
Deep Learning 在影像处理跟语音辨识等等超强,
但是到了2022年,
这些应用已经到了极限, 能用到的都用了,
图像分辨率可以高达99.99% (你逃不掉天网的),
AI很像要冷却下来了,
现有的ASIC 处理影像, 语音跟手机照相, 监视器等等已经足够,
然後就迎来了AI二次革命, ChatGPT,
这个真的把业界打得措手不及,
谷歌是真的被杀的很惨,
尤其GPT这算法还是谷歌自己发明自己open source,
被别人拿自己的魔法来攻击自己,
2022年之後,
ChatGPT 带来LLM的需求,
之前所有的设计全都不适用, 不能用在LLM,
不论是NPU, TPU, 含光, 昇腾全都不能用在LLM,
整个架构跟设计必须重做,
当然,
事情没有真的那麽糟,
毕竟LLM (ChatGPT) 只是千万种AI应用之一,
大部分的AI应用不用LLM的话,
旧有的ASIC跟架构还是能顺顺使用
只是2022年之後,
LLM ChatGPT在风头上,
但是当时全世界只有NVDA GPU能够跑LLM,
业界必须重新设计架构来面对LLM,
这两三年业界也的确研发出新的架构可以处理LLM,
包含博通, Alab, Mrvl, 谷歌TPU等等,
华为的解法是类似博通Alab的方式用网路堆算力,
阿里巴巴跟寒武纪的架构我就不熟了,
故事讲完了
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.103.225.6 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1756685508.A.928.html
1F：→ bnn : tapeout周期性发展 先做个大的把东西塞进去Demo功能 09/01 08:25
2F：→ bnn : 然後再微缩化想办法做小省钱提高die count 09/01 08:26
3F：→ bnn : 做小後新的知识和layout成熟就继续做大 堆数量提升 09/01 08:27
4F：→ bnn : 达成更高单晶片算力 loop 09/01 08:27
5F：推 sswgame : 推分享，学历史 09/01 08:31
6F：推 easyman : Edge 我赌riscv 09/01 08:33
7F：→ totoro7923 : 商学组 有看没有懂 泪） 09/01 08:38
8F：推 davie11333 : 谢谢TQ王分享 09/01 08:43
9F：推 sdbb : 谢谢 09/01 08:44
10F：推 birdane32 : FPGA呢 09/01 08:46
11F：推 stevenkuo : 厉害，六年级前端班生以上吗 09/01 08:48
12F：推 sdbb : 祝假期愉快 09/01 08:49
13F：推 shead1983 : 好文值得推，感谢提供投资思维 09/01 08:51
14F：推 meviswei : 嗯嗯对对跟我想的一样 09/01 09:01
15F：推 palapalanhu : 推 09/01 09:03
16F：推 noddle : 感谢 09/01 09:17
17F：推 roseritter : 推故事 09/01 09:20
18F：推 dragonjj : 谢谢分享 现在似乎要专精於网路的迭算力 所以传输 09/01 09:33
19F：→ dragonjj : 很重要 单个晶片就是拚不过辉达 要并联了! 09/01 09:33
20F：推 Destiny6 : 感谢分享，感觉LLM还要再变革架构才能更前进就是.. 09/01 09:35
21F：→ Destiny6 : . 可能是用免费版CHATGPT吧，失忆还是满严重的... 09/01 09:35
22F：→ ActionII : 狗家两边都有成果，看影片感觉新披索的edgeai还不 09/01 09:43
23F：→ ActionII : 错 09/01 09:43
25F：→ ActionII : 重返荣耀？ 09/01 09:44
26F：→ israelii : 阿里巴巴开盘就大涨18％ 有够猛 但台湾要买很麻烦 09/01 09:45
27F：→ israelii : 应该没有什麽人吃到这一波 可惜 09/01 09:45
28F：推 pantani : 美股baba啊 蒙格之前被套很惨 09/01 09:49
29F：推 flyawayla : 感谢前辈分享，先推再享用 09/01 10:03
30F：→ welkin0105 : 美股的巴巴上周五就十多趴了，敢追要心脏大颗 09/01 10:10
31F：推 qw99992 : 买狗没事 09/01 10:18
32F：推 strlen : 他的手穿过我的巴巴 09/01 10:32
33F：推 atpx : 推分享 09/01 10:47
34F：推 andy7829 : 推讲古 09/01 10:49
35F：推 masala : 推AI讲古！我猜gpt无法讲得比这篇好 09/01 11:12
36F：推 tkc7 : 好奇架构为何不能用在LLM? 不都是deep learning 09/01 11:12
原来的架构记忆体不够大可以处理LLM 训练,
NVDA GPU 在那时候就已经可以串连(NVLink, NVSwitch)做LLM 训练
37F：→ rbelldandy : 卷起来棒 09/01 11:20
※ 编辑: waitrop (76.103.225.6 美国), 09/01/2025 12:04:45
38F：推 lanslore : 推分享 09/01 12:04
※ 编辑: waitrop (76.103.225.6 美国), 09/01/2025 12:05:44
39F：推 minazukimaya: 绘图架构的天生优势就是大通道高频高容量记忆体罗 09/01 12:14
40F：→ minazukimaya: 毕竟原本需求就要存大量的texture 09/01 12:14
41F：推 minazukimaya: 我觉得下一波需求Server AI会从LLM往World Model走 09/01 12:17
42F：→ minazukimaya: LM会下放到edge AI 但会往云端调用高级需求(深度推 09/01 12:17
43F：→ minazukimaya: 理之类) 09/01 12:17
44F：→ minazukimaya: Edge需要更深度与Home和Glass之类的应用整合 09/01 12:18
45F：推 hc23310 : 推一个 09/01 12:22
46F：推 doitlasting : 好文推 09/01 13:32
47F：推 doitlasting : 请问edge AI现在已经很成熟了不是吗？例如车用、工 09/01 13:36
48F：→ doitlasting : 厂自动化之类的，认为会有爆发性成长是指在更多领 09/01 13:36
49F：→ doitlasting : 域？ 09/01 13:36
EdgeAI 跟 SLM 只是个统称,
其方向是对某些AI应用做本地端的硬体加速与应用,
每种不同的EdgeAI 跟 SLM 都有完全不同的设计,
所以EdgeAI 与SLM 的方向跟AGI刚好相反,
但是可以透过分散式处理达到AGI的效果
所以EdgeAI 很成熟只在特定某些部分的应用,
目前最成熟的是图像辨识跟语音辨识,
比方说人脸辨识99.99%准确率,
阿里巴巴的含光最强的就是图像辨识这块,
被拿去装在无人商店监视器, 天网系统, 小爱等等,
但是Chat GPT类的应用在 EdgeAI 非常不成熟,
目前只有Gemini 能够在EdgeAI 本地执行,
OpenAI ChatGPT要远端连线到伺服器处理
我个人看法,
自驾车跟智慧眼镜虽然还称不上是成熟,
但是自驾车跟智慧眼镜的EdgeAI广泛运用今年已经开始,
大概一两年的时间能够成熟,
监视器,语音辨识等等已经完全成熟,
最後最难的部分会是在手机的EdgeAI,
因为手机的EdgeAI 会比较偏向AGI,
各种AI应用都会想在手机上面实现
50F：推 minazukimaya: Edge AI永远都有功耗和性能提昇的需求 因为哪些应用 09/01 13:41
51F：→ minazukimaya: 和运算会下放到Edge是一个动态进化的过程 09/01 13:41
52F：推 lawy : 推 09/01 13:42
53F：推 doitlasting : 类似windows或iso 要一直update然後越来越吃硬体规 09/01 13:45
54F：→ doitlasting : 格这样？ 09/01 13:45
55F：推 minazukimaya: 是也不是 作业系统再怎麽升级功能都是作业系统 09/01 13:49
56F：→ minazukimaya: Edge AI的硬体升级是整个AI社会架构层面运算力分配 09/01 13:50
57F：→ minazukimaya: 规划与能源效率尺度的问题 09/01 13:50
58F：推 ups : 涨知识：） 09/01 14:12
※ 编辑: waitrop (76.103.225.6 美国), 09/01/2025 14:42:14
59F：推 bj45566 : 感谢业内人士分享 09/01 18:50
60F：推 chiuweiyu : 感谢分享 09/01 20:20
61F：推 beagle2001 : 之前稍微了解一下过，2010 年拿 GPU 去跑的时候 09/01 20:22
62F：→ beagle2001 : 可能连黄董都没想到过？！ 09/01 20:22
63F：推 minazukimaya: 黄董作CUDA最早是为了GPGPU 是不是已经预见了AI不好 09/01 20:56
64F：→ minazukimaya: 说 但是最晚最晚到2014~2015他已经意识到了 09/01 20:56
65F：推 coke7 : 感谢业内人士讲古 09/01 21:49
66F：推 gilikl : TQ王有料，勉强しました 09/01 22:50
67F：推 intointo : @@ 09/02 08:34
68F：推 outzumin : Core team=Gerard W.? 09/02 09:51
不是, 你说的Gerard W. 是nuvia,
主要是做笔电的CPU,
我是在nuvia之前的core team,
做手机CPU krait kryo,
後来整组几千人被裁掉,
所以我才会中年失业,
这又是另外一个故事了
※ 编辑: waitrop (76.103.225.6 美国), 09/03/2025 11:47:56