作者waitrop (嘴炮无双)
看板Stock
标题Re: [新闻] 中国AI晶片业陷困境 两大关键厂商消沉
时间Mon Jan 29 11:23:44 2024
前一篇文章太八卦了,
想一想还是删掉好了,
我们就市场与技术做专业讨论,
先说结论: All in TQQQ 就对了
AI晶片分成两种: edge AI 与 server AI,
寒武纪是edge AI,
壁仞科技是server AI,
目前新闻与股市天天在吵的都是server AI,
而中国真正有战斗力能跟NVDA AMD 对打的 server AI 只有两家:
壁仞科技与摩尔线程,
壁仞科技倒了表示全中国server AI 市场只能买NVDA AMD,
至於推文提到的华为 AI 晶片,
那是达文西+泰山 堆出来的东西,
是个十年前的设计,
跟台面上的AI 晶片大厂只会被越拉越远,
All in 美股七巨头
然後我们把眼光放远一点,
就像我之前说的,
这波AI 产业革命如果成真的话,
会像是之前的智慧手机与网路革命一样,
从头到尾可以整整吃十年以上,
在一开始的产业发展是放在硬体与Infrastructure 的开发,
比方说199x-2000年的CSCO,
以及智慧手机刚开始时的CPU 设计: QCOM, AAPL, ARM
以现在的情况来推算就是 NVDA AMD,
但是之後真正赚大钱的是应用平台的苹果税, 谷歌税,
youtube, amazon, facebook 等,
所以之後AI 产业真正会赚大钱的是在应用平台上面,
只是现在还看不到也看不清
好, 回到重点,
AI server 的硬体, 尤其是GPU/TPU/ASIC,
我个人预估还有三到五年的荣景,
等到算力过剩 或是 大部分应用模型都训练的差不多了,
接下来对大模型训练的需求会减少,
这是趋势,
所有科技的趋势都是这样发展,
接下来就是edge AI 的天下,
最终的应用平台都是要跑在客户端, 比方说手机或笔电等,
尤其是inference 推理的应用一定都在 edge device上跑,
所以我个人预估一两年内 edge AI 的需求会暴增,
三五年後 edge AI 会超过 server AI,
Then, who is the edge AI player:
台湾: 联发科
中国: 寒武纪, 华为 NPU
美国: GOOG, ARM (Mali), NVDA (maybe), AMD (maybe), AAPL (NPU), QCOM
还有一些新创公司在做 edge AI 晶片,
目前 edge AI 做得最好的是GOOG 的tensor,
能够配合安卓在手机上面跑AI 推论,
Pixel 手机上面也有一些 edge AI 晶片的应用,
包含照相美颜 与 即时修图等功能,
结论还是All in 七巨头, TQQQ
再来说CUDA的事情,
有OpenCL 跟CUDA 对打,
这是一个完全open source 的东西,
CUDA 与OpenCL 就像是当年DirectX 与 OpenGL,
所有其他GPU公司要绕开CUDA,
只能从OpenCL 或是其他open source framework 下手,
至於推文说的Pytorch 与 TensorFlow 等 framework,
又是不同的东西,
Pytorch TensorFlow 都是架构在CUDA/OpenCL 上面,
他们不是平行同等的东西,
所以才有所谓的GPU CUDA 加速 Pytorch TensorFlow,
一样的道理,
你拿DirectX 与 OpenGL 来对比就知道我的意思,
现在OpenCL 还是比不上CUDA,
但是基於open source 与各大软硬体公司合作,
相信几年後一定会追上的,
就像当年OpenGL 也是多花了几年的时间才追上 DirectX
※ 引述《Arim (亿载金城武)》之铭言：
: ※ 引述《Su22 (装配匠)》之铭言：
: : 原文标题：中国AI晶片业陷困境 两大关键厂商消沉
: : ※请勿删减原文标题
: : 原文连结：https://reurl.cc/WRAEMZ
: : ※网址超过一行过长请用缩网址工具
: : 发布时间：2024/01/27 08:22
: : ※请以原文网页/报纸之发布时间为准
: : 记者署名：吴孟峰
: : ※原文无记载者得留空
: : 原文内容：
: : 曾经充满希望的中国人工智慧（AI）产业正面临艰困时期。壁仞科技和寒武纪这两个新创
: : 产业巨头都在苦苦挣扎。壁仞执行长兼联合创始人徐凌杰最近辞职，引发人们对公司未来
: : 的担忧；而寒武纪持续7年来亏损，不得不裁员。
: : 壁仞科技被美国政府列入
: : 这两家公司并不是中国唯一的AI GPU开发商，但他们的挣扎反映整个中国AI硬体的困境。
: : 这些公司是否能够适应、保持财务稳健，并跟上快速变化的市场趋势，目前还有待观察。
: : 心得/评论：
: : 之前壁仞的GPU产品线总经理焦国方也离职了
: : 现在另一个高层也闪人
: : 寒武纪(SHA: 688256)则是连续亏损中,股价也跌了不少
: : 有投资中港股市AI晶片概念股的网友要注意相关风险
: : ※必需填写满30正体中文字，无意义者板规处分
: AI GPU 这块未来十年内肯定还是 Nvidia 独大，就跟 台 gg 一样，整个生态早就建立起来了，要干翻他光有钱是不够的
: 皮衣刀客在十几年前就布局 cuda，只要有用 Nvidia gpu 做加速的软体通通都要绑 cuda，目前开源做深度学习跟推论的，也都是绑 cuda ， 然後 cuda 并不是开源的，所以如果不是 Nvidia 的晶片，根本不能用 cuda
: 所以你看 meta 买 nv 的卡，openai 也买 nv 的卡，AMD 虽然也有自己的运算软体，但生态系没建立起来，在 AI 这块终究看不到 nv 的车尾灯，你有看过有哪家大厂买 AMD 的卡做训练吗？
: 所以搞 gpu 晶片这块就跟牙膏在 gg 面前说要做先进半导体制程一样，只是纯烧钱而已，什麽都不会有的
: -----
: Sent from JPTT on my Xiaomi M2004J19C.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.103.225.6 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1706498626.A.0C3.html
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 11:26:09
1F：推 roseritter : 大大 前一篇也很好啊 不需要删吧 让我们业外闻香 01/29 11:26
2F：推 mongduo : 前一篇提的，这一篇都有啊，删掉保险一点~推 01/29 11:28
3F：推 metallolly : 七巨头..是谁的XD 01/29 11:30
4F：推 zoze : 中国燧原科技 听说不错 01/29 11:30
5F：推 rebel : edge ai有个问题 目前业界还没找到杀手级应用 需求 01/29 11:31
6F：→ rebel : 不强的话 很难带动需求跟价格 01/29 11:31
7F：推 ymlin0331 : all in TQQQ 01/29 11:32
8F：推 a316xxx : 浅显易懂的优质文 01/29 11:33
9F：推 pponywong : 对岸记得还有一个地平线阿 01/29 11:33
10F：推 thg156yu789 : 发哥太贵了 有其他间吗 01/29 11:36
台湾有在做GPU的公司 我只知道矽统,
当年矽统 的GPU 差点把nvidia ati(amd) 打趴,
不过那是25年前的故事了,
晶心做risc-v 偏向cpu,
不知道有没有AI/GPU 的设计,
我也不知道台湾IP公司有没有AI/GPU 的设计, 像是智原,创意,
所以我无法回答你,
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 11:45:20
11F：推 mabobo : 请问直接买00757也可以吗？ 01/29 11:42
12F：推 aegis43210 : 西台湾做推论的只要没办法下GG，就没希望了，反倒是 01/29 11:47
13F：→ aegis43210 : 做训练的，有足够电力还可以大力出奇蹟 01/29 11:47
14F：推 dragonjj : 结论 可以欧印台GG了吗?制成全都绕不开阿! 01/29 11:49
对, 欧印GG 也可以,
跟欧印TQQQ 一样,
你最後还是要加入他的
15F：推 dongdong0405: 有料，推 01/29 11:50
16F：→ MacD89 : edge ai 会不会太浪费资源？把运算丢到server算好 01/29 11:50
17F：→ MacD89 : 再传回来会不会比较有效率？ 01/29 11:50
不,
丢server 才是浪费资源,
computer science 吵"中心运算"与"平行运算" 已经吵了百年了,
最终都是平行运算胜利,
把所有计算放在 server 才是最耗资源 最耗水电的,
只有把运算分散到终端用户,
才是最终最好的解法
比方说,
你买10000支手机 可以有一台 AI server 的算力,
也就是一台AI server 可以支援 10000 个用户的运算需求,
但是这样一台AI server 的造价与耗电量是 10000支手机的数百甚至数万倍
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 11:57:53
18F：推 thbygn98 : 一定需要edge的，很难全不要 01/29 11:53
19F：推 w60904max : tqqq有垃圾车 01/29 11:54
20F：推 kducky : 没错 QQQ买满 01/29 11:55
21F：推 c7683fh6 : 推 欧印10年财富自由 01/29 11:55
22F：推 rebel : 反了吧 推论对算力需求低 有没有GG影响低 01/29 11:57
23F：→ good5755 : 照这篇买股 allin谷歌？ 01/29 11:57
24F：推 Cliffx : tqqq有垃圾车 01/29 11:57
FNGG 等七巨头ETF 也都有垃圾车呀!
没办法呀!
比持有率的话,
TQQQ/QQQ 持有垃圾车的比例还比较低
25F：推 howhow801122: 垃圾车是谁 01/29 12:00
26F：→ booray : edge 功耗更重要啊 不用GG先进制程手机电池哪够用 01/29 12:01
对,
edge 最在乎功耗
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 12:04:07
27F：推 ohlong : Edge绝对会是主流 更何况区块链那套也可以拿来用在 01/29 12:03
28F：→ ohlong : 末端算力上 01/29 12:03
29F：推 aegis43210 : 目前大部份模型仍未到剪枝阶段，推论仍需要大量算力 01/29 12:04
30F：→ aegis43210 : 所以西台湾做推论的，没有一家能投资 01/29 12:06
31F：推 JKCCF : 好 ALL IN! 01/29 12:07
32F：推 jamesho8743 : Linux追得上Windows? Firefox追得上chrome? 联电追 01/29 12:08
33F：→ jamesho8743 : 得上台积电? 01/29 12:08
OpenGL 後来真的追上DirectX,
甚至现在的3A 大作支援OpenGL 更多,
理论上,
open source 与 跨平台cross-platform 最终都会胜过封闭系统,
唯一的例外就是卖水果的那家,
所以信仰最重要
34F：推 energyy1104 : 最优解就是都配 不可能全部用edge也不可能全部用se 01/29 12:10
35F：→ energyy1104 : rver 01/29 12:10
36F：推 ming5566 : 推 01/29 12:11
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 12:14:34
37F：推 jamie81416 : 这篇才是重点 01/29 12:12
38F：→ jamie81416 : 结论：All in GG 01/29 12:12
39F：推 lrac : 推 01/29 12:13
40F：推 fernmmm : 看起来edge端发展起来关键是server成本居高不下 那 01/29 12:14
41F：→ fernmmm : 有没有什麽剧本是server成本大降 01/29 12:14
42F：推 jamie81416 : 楼上，edge段的发展关键是应用，不是server 01/29 12:15
43F：→ MacD89 : 可是使用者更在意自己on premise的功耗太大而不会 01/29 12:15
44F：→ MacD89 : 考虑服务商那边的功耗成本？所以最後还是都有的吃 01/29 12:15
45F：→ MacD89 : 不过不管edge或server那边loading会比较重 反正就 01/29 12:15
46F：→ MacD89 : 是gg或成最大赢家 XD？ 01/29 12:15
47F：→ jamie81416 : 没错R，不管哪个都要GG支援 01/29 12:16
48F：推 strlen : 你各位不要歧视垃圾车 人家还差一点就变AI神车 还有 01/29 12:16
49F：→ strlen : chobits 机械公敌 01/29 12:16
50F：推 jamie81416 : 现阶段edge AI还没喷单纯是还没有杀手级应用 01/29 12:17
51F：推 aspirev3 : 爱普跟边缘运算有关系吗 01/29 12:18
52F：推 fernmmm : Edge应用怎麽说 愿闻其详 01/29 12:18
53F：→ fernmmm : 是指在edge或server跑应用性能表现有差吗？ 01/29 12:19
看看这篇 Pixel 8 Pro — the first smartphone with AI built in — is now running Gemini
Nano,
edge 的应用例子, 还可以找到一些其他的例子, 但是不多,
https://store.google.com/intl/en/ideas/articles/pixel-feature-drop-december-2023/?utm_source=sem_bkws&utm_medium=dr&utm_campaign=GS107234&utm_term=Gemini_p8&gad_source=1&gclid=CjwKCAiAk9itBhASEiwA1my_652z4S_MPSOQFZv1YYPbS1dPKWHUvWKNXHz2ZpSX2XbEQUq3oYazWxoCL84QAvD_BwE&gclsrc=aw.ds
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 12:21:11
54F：推 joygo : 现在就大厂再拼啊，拼出一个最强的需求就会跑去客 01/29 12:20
55F：→ joygo : 户端了 01/29 12:20
56F：推 jamie81416 : 比较近似的例子，NV的显卡要用云端串流还是单张XD 01/29 12:20
57F：→ jamie81416 : GeForce Now就死的差不多了 01/29 12:21
58F：→ joygo : chat gpt让人看到ai的好用，现在美术应该是第一个 01/29 12:21
59F：→ joygo : 冲击，再来应该会更多 01/29 12:21
60F：推 fernmmm : 我想表明的点是 如果server成本大降 还有一定要在 01/29 12:23
61F：→ fernmmm : 终端跑AI的必要吗？ 01/29 12:23
62F：推 jamie81416 : 楼上的问题相当於单机版还是云端版 01/29 12:24
对,
这就是最好的比喻,
以使用者而言,
你觉得是单机版还是云端版便宜?
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 12:25:57
63F：→ awss1971 : 结论: All in TQQQ 01/29 12:25
64F：推 a1237759 : 达文西是2019台积cowos团队用16nm做的东西，说落後 01/29 12:26
65F：→ a1237759 : 十年就夸张了，五年差不多 01/29 12:26
66F：→ a1237759 : 且达文西二代当初率先使用两层的soic ，领先AMD NV 01/29 12:27
67F：→ a1237759 : 三年，如果不是被封锁，台积当时可能真的会带华为打 01/29 12:27
68F：→ a1237759 : 趴AMD 01/29 12:27
达文西第一代研发设计在2015年底到2016年,
当年瞄准目标是A100,
是美国研发团队研发设计的,
研发团队在2018年整个解散,
流散到美股七巨头, AMD 与 阿里巴巴,
tapeout 与 design 的时间本来就会差两三年,
即使你晶圆代工与制程再怎麽进步,
都无法弥补设计与架构本身的落後
69F：推 jamie81416 : 台湾就All in GG。Sign G翁！ 01/29 12:28
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 12:31:33
70F：推 guanting886 : Server成本再怎麽降也无法一次处理很大的需求 如果 01/29 12:28
71F：→ guanting886 : 都算简单东西 很浪费那台机器的资源 01/29 12:28
72F：推 beckhon : 大大，你所指有包含特斯拉吗 01/29 12:28
73F：→ a1237759 : D2在台积试产成功，但无法出货，华为现在应该就是用 01/29 12:28
74F：推 Eric0605 : 你edge AI都写MTK了 居然漏了QCOM? 01/29 12:28
补上了,
怨念太深都忘了QCOM
75F：→ a1237759 : 台积同一套在做D1 01/29 12:28
76F：推 ds040302 : 看不懂，推 01/29 12:29
77F：→ guanting886 : 有些Ai或某种较为简单的处理可以做在专用晶片上 你 01/29 12:30
78F：→ guanting886 : 直接调用上面的资源来算比浪费Server资源算还更有 01/29 12:30
79F：→ guanting886 : 效益而且更快 不用网路 01/29 12:30
80F：→ guanting886 : 用单机版 跟 云端版 形容算对 但单机版的功能是半 01/29 12:31
81F：→ guanting886 : 残 01/29 12:31
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 12:32:52
82F：→ aegis43210 : 目前云端推论运算就卡在记忆体瓶颈，所以边缘运算化 01/29 12:33
83F：→ aegis43210 : 是趋势，尤其是自驾 01/29 12:33
84F：推 prpure : 请问tesla的自驾也算edge ai吗？ 01/29 12:33
85F：推 a1237759 : 我是当初研发团队的，2018出货给D1给海思，2019帮海 01/29 12:35
86F：→ a1237759 : 思试产，遇到封锁团队也不能说算解散，就是流往其他 01/29 12:35
87F：推 ppuuppu : 推 01/29 12:35
88F：→ a1237759 : 客户 01/29 12:35
89F：推 fake : Ai应用爆发应该也是会带动传统伺服器的成长？毕竟 01/29 12:37
90F：→ fake : 你东西做出来要分享出去还是得经过传统伺服器 01/29 12:37
91F：→ aegis43210 : 是可以靠模型剪枝来缓解记忆体及网路瓶颈，但现在是 01/29 12:37
92F：→ aegis43210 : 吃力不讨好，建模就来不及了 01/29 12:37
93F：推 jamesho8743 : opengl本来在业界就一片天了 directx会红只是因为wi 01/29 12:38
94F：→ jamesho8743 : ndows和pc game的崛起 经过了几十年opengl可以扳平 01/29 12:38
95F：→ jamesho8743 : 甚至超过 是因为只要学一套opengl就可以两边通用 op 01/29 12:38
96F：→ jamesho8743 : engl在windows上的优化也很成熟和dx没什麽差距 01/29 12:38
是的,
你的论点拿来套在OpenCL 也适用,
我相信open source 跨平台最终会追上封闭系统的CUDA,
当然信仰无价
97F：推 jamie81416 : 对消费者来说，半不半残不是关键，好用才是 01/29 12:38
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 12:39:39
98F：推 a1237759 : 海思的design在当时其实一点都弱，又肯砸钱与台积共 01/29 12:38
99F：→ a1237759 : 同开发，台积扶持下追赶曲线非常快 01/29 12:38
100F：→ fake : 另外手机电脑装上 AI 晶片应该也会需要更强的散热 01/29 12:39
101F：推 a1237759 : 总之这些厂商都靠台积飞的，叫台积股价飞不起来 01/29 12:40
102F：→ a1237759 : 就 01/29 12:40
103F：推 fake : 台积还是有很大比例是消费品吧 被拖累了QQ 01/29 12:42
104F：推 AoA1 : 好文，推一个 01/29 12:43
105F：→ cccict : 现在企业又因为资安的问题要回去云端化了，我现在 01/29 12:48
106F：→ cccict : 笔电所有档案都在one drive，edge除非像电动车有即 01/29 12:48
107F：→ cccict : 时运算的需求才会使用，server的效率跟成本还是比 01/29 12:48
108F：→ cccict : 自建划算，尤其现在都要ESG，还不如让平台商解决 01/29 12:48
109F：推 rebel : 我还是认为推论不应该消耗太多功耗 会消耗大量功耗 01/29 12:50
110F：→ rebel : 的应用放在手机上就很奇怪 放在插电的pc上比较合适 01/29 12:50
111F：→ rebel : 01/29 12:50
112F：推 Edaw : 推推 01/29 12:51
113F：嘘 donkilu : 纯嘘GOOG 01/29 12:51
114F：推 clisan : 推好文 01/29 12:54
115F：推 france5289 : Andes 有做edge AI相关的产品 01/29 13:00
116F：→ france5289 : 概念是用vector CPU处理AI asic无法加速的operator 01/29 13:00
117F：→ france5289 : 他们最近好像也有推自己的加速器 但不知道有没有 01/29 13:00
118F：→ france5289 : 客户(除了跟Meta合作之外) 01/29 13:00
119F：嘘 sdbb : 应该是directx追上opengl 01/29 13:02
120F：→ la8day : 现在都vulkan哪有人要用ogl 01/29 13:03
121F：推 ga023630 : 都要欧印 FNGU 会比TQQQ差吗？ 01/29 13:05
122F：推 ProTrader : 干嘛为了八卦特地删文 内容很精彩 八卦也很精彩 01/29 13:07
123F：→ ProTrader : 重点是这篇一点都不豪洨 原po哪可能压力大 01/29 13:08
124F：→ askaa : 靠我没看到wait大大的八卦文 可惜惹 XDDDDD 01/29 13:08
125F：→ ProTrader : 公司敢裁你就换下一间 01/29 13:09
126F：推 n555123 : 推一下 01/29 13:14
127F：推 sdbb : 最早期，opengl比较像cuda，opengl领先directx cud 01/29 13:23
128F：→ sdbb : a领先opencl 01/29 13:23
129F：推 SRNOB : 完了 看不太懂 我变落後老人了 01/29 13:25
130F：推 y800122155 : MS copilot已经在贡献营收了欸 01/29 13:27
131F：→ y800122155 : TQQQ FNGU的组合问题应该可以透过买NVD3 FB3 MSF3 A 01/29 13:30
132F：→ y800122155 : AP3 GOO3 AMZ3自己调整吧?! 01/29 13:30
133F：推 speedman : 没列到M$ 微软有涉入AI吗? 算是什麽脚色 01/29 13:37
我列的是硬体部分,
因为台湾只有硬体与IC产业,
M$ 是AI 应用平台的角色,
目前M$ + OpenAI 是AI应用平台的第一名领先者,
GOOG 是AI应用平台的第二名,
GOOG 几乎在每个AI 的领域都是排第二第三,
缺点是GOOG 没有任何一个AI 领域是第一名领先者地位
134F：→ karcher : 有内容给推，不过有点高估AI的价值 01/29 13:39
135F：→ y800122155 : 微软是ChatGPT大股东 市值都超越阿婆了还什麽角色.. 01/29 13:39
136F：推 roseritter : 微软是openAI大股东，早早引入copilot 01/29 13:40
137F：→ roseritter : 变现能力现在看来海放google 01/29 13:40
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 13:47:06
138F：推 cadaver : 请问大大有TQQQ预计获利了结的时间点吗 01/29 13:45
美国总统大选前 也就是 2024年12月前,
都是安全的存股时间点,
选完之後很难说,
我之前说过,
不论是川普或是拜登上台都会是狂人政治,
很难预测发展,
川普就不用说了,
拜登连任之後没有再选举的压力,
追求的是历史定位,
一定会非常左派作风,
大撒币给底层人民以及继续给中产阶级加税,
乱花钱没有财政节制,
很可能通膨会再起 与金融风暴,
川普在金融与经济上会处理好很多,
但是川普是狂人而且仇恨值超高
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 13:51:52
139F：嘘 a000000000 : 我觉得尼想太多 hbm效能等级的东西要放到edge 01/29 13:48
140F：→ a000000000 : 等葛十年看看 01/29 13:48
141F：推 rebel : 知道你讨厌拜 但拜不是一个人就可以控制美国 拜要 01/29 13:57
142F：→ rebel : 洒币 一堆人就不会同意 他不选了其他人未来都不选 01/29 13:57
143F：→ rebel : 了吗 01/29 13:57
144F：推 william85 : 推 01/29 14:04
145F：推 roseritter : 那这麽一堆人 之前出来有挡住拜耍脑包吗 喝 01/29 14:15
146F：推 rebel : 那时没通膨 现在通膨都烧成什么样了 拜登最後一波 01/29 14:20
147F：→ rebel : 洒币不就被挡下来了 01/29 14:20
那时已经有通膨,
大撒币的名称还是非常讽刺的"降低通膨法案":
为遏止通货膨胀恶化以及应对全球气候变迁问题，美国总统拜登（Joe Biden）於2022年8
月16日签署通过4,370亿美元支出的《降低通膨法案》（The Inflation Reduction Act）
https://stli.iii.org.tw/article-detail.aspx?no=55&tp=1&d=8918
这次大通膨以及2022年股市大跌,
拜登必须负起最大的责任,
当时民主党躺赢,
所以根本不在乎通膨 乱花钱,
现在被川普压着打,
就不敢再大撒币,
但是我对拜登与民主党有信心,
要是这次选赢一定会大撒币
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 14:26:14
148F：推 kis28519 : 推 01/29 14:24
149F：推 rebel : 现在的参众议院又不是都在民主党手上 认为凭拜登就 01/29 14:29
150F：→ rebel : 可以大洒币我觉得你想太多 我宁愿相信美国的制度而 01/29 14:29
151F：→ rebel : 不是拜或川的个人 01/29 14:29
152F：推 qweaaazzz : 推 01/29 14:44
153F：→ SILee : 你有点扯过头了。他这阵子都没有提大撒币法案主要是 01/29 14:45
154F：→ SILee : 众院被掐住了，提了也没用。後面还有更重要的法案让 01/29 14:46
155F：→ SILee : 他火在烧，轮不到撒币这件事。 01/29 14:46
156F：推 yaehsin : 推TQQQ 01/29 14:54
157F：推 dangurer : 收到打收到! 01/29 15:10
158F：→ BryceJames : 觉得不可能 edge无法散热注定只能大模型只能server 01/29 15:16
159F：→ BryceJames : 3 5 年内edge超越server太乐观 01/29 15:16
160F：→ BryceJames : 而且大模型训练只会越来越多... 01/29 15:17
161F：推 popcorny : 我2021的MBP跑LLM mistral-7b 已经吓吓叫了，edge 01/29 15:25
162F：→ popcorny : 没有想像中那麽遥远. 应该很快就大爆发了 01/29 15:25
163F：推 aegis43210 : 训练是另一回事，在终端训练也太没效率 01/29 15:27
终端不做训练,
终端是做推论,
当大部分应用训练完成/成熟之後,
就是在终端的推论应用,
这时候需要的是edge AI
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 15:29:09
164F：推 neo5277 : 下个接棒的应该是居家机器人了吧 01/29 15:33
165F：推 previa : 我2008,2009年在用CUDA做GPGPU应用时就觉得OpenCL会 01/29 16:18
166F：→ previa : 有机会超过CUDA，现在已经几年了。 01/29 16:19
167F：→ previa : 10多年过去了还没超过，核心还是在开发的编译优化上 01/29 16:20
168F：→ previa : CUDA/OpenCL都非常依赖数据从CPU<->GPU间的数据搬移 01/29 16:20
169F：→ previa : 好的Compiler会自动搞定一大堆异质架构的存取优化 01/29 16:21
170F：→ previa : 不然早期的CUDA你开发还要去记记忆体架构跟cycle 01/29 16:21
171F：→ previa : 时间差，人工想办法去interlace 读取加大平行度 01/29 16:22
172F：→ previa : 真的麻烦。最近几年没跟进，不确定现在怎样了 01/29 16:22
173F：→ previa : 理论上只要克服这点，OpenCL应该就可以追上CUDA 01/29 16:25
174F：→ previa : 但是这也是比较难的点，Vendor自己开发的跟开源的 01/29 16:25
175F：→ previa : 肯定在相容性跟优化上还是有一些差异。 01/29 16:26
176F：→ ProTrader : AMD跟客户大厂应该会认真做缩小跟CUDA的差距 01/29 16:41
177F：→ ProTrader : 但要说赢过CUDA就很难 至少短时间不可能 01/29 16:42
178F：推 jeff918 : 这样看起来联发科的风险 01/29 17:46
179F：→ jeff918 : 会是中国被禁运 01/29 17:46
180F：→ szeretlek945: 上面说大模型越来越多，那有没有小模型也越来越多， 01/29 17:50
181F：→ szeretlek945: 而且现在好几篇论文都在写小模型在特定环境甚至比大 01/29 17:50
182F：→ szeretlek945: 模型的表现好。况且现在注重的是“有效的”参数而不 01/29 17:50
183F：→ szeretlek945: 是越多越好 01/29 17:50
184F：推 ImCPM : 这样手机pc nb不就要喷烂了 01/29 17:55
除非你要超前部署,
不然还早,
edge AI 快速成长也要一两年後,
超过 server AI 大概要三五年後,
也就是三五年後有大量的AI应用 与平台之後,
才会开始喷 pc nb 手机
※ 编辑: waitrop (76.103.225.6 美国), 01/29/2024 18:00:02
185F：推 s1001326 : 请问买SOXL可以吗？ 想要分一点倒TQQQ 01/29 20:48
186F：推 jamesho8743 : opencl要追上cuda还有很长的路要走 重点是这些优化 01/29 21:08
187F：→ jamesho8743 : 最佳化谁来做 这些都是很专精且硬体相关性很强的 以 01/29 21:08
188F：→ jamesho8743 : AI大模型的训练量差个5%效率就是很多钱 01/29 21:08
189F：→ jamesho8743 : 这也是nvidia赢amd 的原因 硬体就算不输 软体的差距 01/29 21:11
190F：→ jamesho8743 : 不是一时半刻可追 01/29 21:11
191F：→ jamesho8743 : 大公司如微软能自己拉个软体team来优化amd的硬体 01/29 21:18
192F：→ jamesho8743 : 找到不只会cuda还能精通其他平台的强者 中小公司只 01/29 21:18
193F：→ jamesho8743 : 能乖乖用nvidia 01/29 21:18
194F：推 x3795566 : 蛤 为啥不是SOXL？ 01/29 21:48
195F：→ r7544007 : 天下程式一大抄 opencl要赢Nvdia要多生出几本教科书 01/29 22:38
196F：→ r7544007 : 让大家抄 01/29 22:38
197F：→ waitrop : 我来写一本也开课到YouTube 好了 01/30 03:46
198F：推 ohlong : 大家都只想到效能 没人想到成本的问题 而且llm要切 01/30 09:38
199F：→ ohlong : 分也不是办不到 如果能切分还能去互相验证model有 01/30 09:39
200F：→ ohlong : 没有失真 大公司就不必耗这麽多电力算力成本在可能 01/30 09:39
201F：→ ohlong : 没什麽投资报酬率的结果上 01/30 09:39
202F：推 ohlong : 但现况edge一定是validation 为主 01/30 09:49
203F：推 NicholasTse3: 巨头不包含微软吗？ 01/30 12:30
我说过很多次了,
我在讨论的是硬体与IC 晶片的部分,
所以没有谈到微软
微软是目前AI 应用平台与模型的领先者,
第一名的地位,
但是我们并没有讨论应用平台与模型
※ 编辑: waitrop (76.103.225.6 美国), 01/30/2024 15:13:56