作者LDPC (Channel Coding)
看板Stock
标题Re: R: [请益] 为什麽中国越来越强？
时间Sat Feb 1 10:27:33 2025
怎抹这边突然变AI版 =_=
DeepSeek 有件事情干得比矽谷好 就是AI Backend 优化(这玩意就是需要懂架构
和软体 就是一个苦力枯燥活) 大体而言
在A100架构以前 大部分训练都还是用fp32 少数模型对精度不敏感会用到fp16
(浮点16进位)主因是用16进位去训练 精度不够 容易模型崩溃 尤其用P100的fp16
去训练LLM这类模型 大多都会崩 直到bf16这种新型的16进位出来 这时候训练成本
(等於同架构算力变两倍) 直接下到一半 在过去很少人在训练用fp8(8位元)精度
去训练模型 因为先天认为就是模型不稳 (顺带一提 在inference
把模型降到int8 是一个常见降成本做法 但training就很难)
然後deepseek 这个做得很好 他们重写底层cuda优化 (写ptx 直接优化硬体并列)
硬生生的把训练pipeline写出了一个fp8的版本 这又让算力直接变两倍
(*1)
我找到一篇稍微讲他们并列设计方式软体优化整理
https://finance.sina.com.cn/roll/2025-01-01/doc-inecmssv2908917.shtml
该编直接破题 卷工程
MoE 有一个最大挑战就是 通讯成本 以及如何把通讯成本降下来 DeepSeek也是围绕在
NVLink Load Balance (*2) 这也是围绕在高throughput的NVLink 优化活
https://news.cnyes.com/news/id/5847731
*1和*2基本上就是围绕NV卡Cuda底层的软体优化活 QQ
这玩意不能无痛移植到其他架构 会是完全不一样的推倒重练活 甚至硬体不支援无法复制
https://blog.csdn.net/weixin_42082868/article/details/130158784
而MoE对VRAM要求很高 说不需要HBM的 =_=......毕竟记忆体在LLM是一个重要参数
有很多算法是拿记忆空间换算力 (cache <-> 计算 参考白算盘)
因为是MoE 所以意味者每个token产生 只用了模型37B参数 这意味者 你的智能上限
就是37B参数的智能 这也意味者现阶段600B Dense 模型 上限可以更高
(有点像你在思考一个问题瞬间时刻 只用了脑容量10%跟 脑容量100%)
这也是为何MoE在Fine-Tune 基於泛化不足 难度会比Dense模型不稳
在Inference端 受益於
1. KV Cache压缩 ( Multi-head Latent Attention)
2. 37B参数运算量 per token
3. MLP (multi-token prediction) (参照Medusa这类paper)
每次不是一个个token产生 而是一次产生两个token (你也可以推广到n颗预测
但n>2 token 每次预测 失误率会变高 等於做白工)
所以产出token速度会造成同架构600B模型大概 10倍快 然後搭配老黄B200
int8 算力
https://36kr.com/p/2927059579722630 老黄硬体也可以受益这种低精度
搭配MoE 解放出能提供的更多人数上限 (Inference Capaciy是单次访问算力x人数)
LLM现在最大门槛就是inference速度慢 很多paper都在环绕1,2,3推广
而deep seek就是把现阶段最好的1,2,3搭起来 搭AI Backend
key take away 通篇deepseek其实是把近年来所有经典算法围绕在NV的cuda底层优化
所以要把这算法复制在其他平台 会重新遇到一个底层优化的问题 就像AMD底层优化
并不如cuda好 而这次大概就是ai backend 码农 看到中国deekseek做得很好
个人建议 如果没NV卡 手上有M1/M2/M3晶片 可以尝试把上面123玩玩看 现在pytorch
有针对Mac GPU优化 (指令 device="mps" 如果你有NV卡那就不用多此一举)
https://github.com/karpathy/minGPT
强烈建议手刻KV Cache (
https://github.com/Zefan-Cai/KVCache-Factory )
https://dipkumar.dev/becoming-the-unbeatable/posts/gpt-kvcache/
KV Cache 开发是现在LLM里面的显学之一
除了增加就业能力 还可以帮助你股版吵架能力 @@/
--
以後薯条炸到一半 你可以直接跟买汉堡客户吵起LLM话题 股版吵架吵起来!!!!!
现在你想进入OpenAI 刷AI Backend会比走AI research容易 现在大厂都缺AI Backend
※ 引述《afflic (afflic)》之铭言：
: 给一些觉得中国很烂的人看看市场现在在担心些什麽
: 舰长J快讯 重要的突破要多写一次
: 2025/1/31
: 总之，这几天是一次很烧脑的过年假期，感觉比平常还要认真研读资料，甚至大年初一晚
: 上还有大陆券商办专家论坛..... 这个市场实在太卷。
: 当然，花了这些精神做功课，就是要研究一下开年後的投资动作，究竟是新春大特卖赶快
: 捡便宜、还是苗头不太对脚底要抹油？很遗憾的，这几天研究下来，个人目前对硬体的看
: 法越来越偏向後者，但相关的AI应用却可能加速发展。
: DS的论文重点以及它在演算法上的突破，网路上已经有很多人分享，我就不再赘述；直接
: 讲几个观察到的重点吧～
: 1. 还记得Apple为了推销Apple Intelligence，将iPhone 全面升级到8GB以上吗？这仅仅
: 是为了跑一个3B 参数的小模型而已。 现在，有人成功用一张 Nvidia RTX 6000 (48GB V
: RAM) 就可以跑动 DS 671bn 参数的大模型，而且这个模型还开源可以直接下载。
: 这代表什麽意思？以後企业或个人要布建AI，可能买一台具有高阶显卡的电脑就做的到。
: 不用每个月花200USD订阅OpenAI、不用CSP租赁昂贵的AI server & 网路..... 在地端布
: 署AI 变得简单＆便宜许多。这两天已经有看到朋友的公司开始研究把AI模型的布建转为
: 在地端执行的可能性。
: 2 各大厂纷纷投入：短短几天，可以看到微软、AWS、NVIDIA 都开始提供DS R1 模型的服
: 务。由於对硬体的要求的确不高，百万token 输出的价格只要2.19美元（作为对比： Ope
: nAI的输出价格爲60美元/百万Token），价差接近30倍。
: NVIDIA 官方也有描述：在单个NVIDIA HGX H200系统上，完整版DeepSeek-R1 671B的处理
: 速度可达3,872 Token/秒。仅需一个系统就可以完整运作DS R1 大模型。就算企业依然需
: 要利用云端来布建AI，需要的系统＆价格也比之前简化许多。
: 3 NV关键优势不再？ 这两年来，我们持续提到NV产品在大模型与高运算力方面的优势，
: 包括记忆体的使用、NVlink多卡串联、Scale-up/out 的领先等等；在探讨下一代Rubin或
: 更後面的产品，讨论的是一个机柜做到NVL 144/288 、如何处理这麽大功耗的产品、系统
: 架构该如何演进等等；重点不仅仅是“教主产品做的比别人好”，而是“不用教主的产品
: 就根本无法训练＆使用这些大的模型”。
: 忽然间，这个必要性被打了一个大问号。
: 进而延伸的问题：HBM、CoWoS等等原本为了在空间体积功耗等等限制下塞进最多算力的技
: 术，是不是仍然必要？还是有许多便宜的替代品可以用？
: BTW，很多人喜欢把政治问题扯进来。对我来说，探讨DS本身到底用了多少卡有意义吗？
: 没有，重点是现在实际布署R1的硬体需求就是极低；其次，它有没有抄OpenAI? 应该有吧
: ～ 不过OpenAI 的 GPTBoT 在网路上不顾版权的到处乱抓资料也不是一两天的事情了～
: 抓完还不开源勒。对投资而言，整个市场结构的变化，比这些枝微末节的小事重要多了。
: 投资总有风险，本人过去绩效不做未来获利之保证。最近诈骗猖獗，本人不收会员、不用
: 追踪、不骗流量、不需粉丝、更不必按赞分享开启小铃铛。快讯仅供好友交流之用，如果
: 你与我看法不同，你肯定是对的千万不要被我影响。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738376857.A.F38.html
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 10:29:45
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 10:30:54
1F：推 acidrain : 看起来像软体业的工厂版本 需要更多的作业员去改善 02/01 10:30
2F：→ acidrain : 模型 扯到人力成本欧美就贵 所以东亚跟印度... 02/01 10:30
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 10:32:16
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 10:33:02
3F：推 SRNOB : 抗中保台 抵制就对了 02/01 10:33
4F：→ SRNOB : 这篇有料 02/01 10:34
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 10:35:47
5F：推 jeangodard : 6 这周最有料的文 02/01 10:35
6F：推 dongdong0405: 推有料 但股板老害们会看不懂 02/01 10:38
7F：→ loveadu : 所以我就说了，算力是算力，工具需要人去设计算法 02/01 10:40
8F：→ loveadu : 有个电路板就喊老AI，难怪自己买美债 02/01 10:41
9F：推 hamnett17th : 专业 02/01 10:41
10F：推 TIPPK : (美国)(美国) 02/01 10:43
11F：推 Jeff1989 : 感谢分享 02/01 10:43
12F：推 curlymonkey : 专业文 看不懂 02/01 10:44
13F：推 yyyou : 谢谢大爷 02/01 10:46
14F：推 rayisgreat : 专业文>< 02/01 10:46
15F：推 cablate : 推，但股版看不懂，只会跟你说赶快卖NV GG买中国A 02/01 10:46
16F：→ cablate : 股 02/01 10:46
17F：推 jeangodard : 所以根本上 DS做得最好的就是去优化cuda的效能 02/01 10:47
18F：→ jeangodard : 让nv的gpu能达到更强的能力吗 02/01 10:47
19F：推 cablate : 是的，DS目前最有价值的部分就是优化算法 02/01 10:48
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 10:49:32
20F：推 tomdavis : 後面就是照抄 把1 2通通移植到其他模型上 02/01 10:48
21F：推 FICA : 推专业 02/01 10:50
22F：→ tomdavis : 这个工作没办法给AI做XD code只能由码农来写XD 02/01 10:50
23F：推 zaqimon : 所以AI无法自己优化自己底层的code吗!? 02/01 10:51
24F：→ zaqimon : 还是DeepSeek员工也都用AI在写程式!? 02/01 10:52
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 10:52:37
26F：→ Windtears : ontrols 02/01 10:52
27F：推 cablate : 当算法改进，接着卷的一样是设备，当初各种大神优 02/01 10:52
28F：→ cablate : 化各种程式演算法在强化基础建设，你看现在有因为 02/01 10:52
29F：→ cablate : 演算法而将硬体设备停留在10年前吗 02/01 10:52
30F：推 zaqimon : 还是与其花时间问AI 还不如自己写程式比较快 02/01 10:53
31F：→ tsukirit : 是没有，但硬体不见得值那种溢价 02/01 10:53
32F：推 cablate : 优化底层code你也要提供人类想法，AI没有你各位想 02/01 10:54
33F：→ cablate : 的那麽聪明，会问为什麽AI不能优化AI就是还不够清 02/01 10:54
34F：→ cablate : 楚AI怎麽运作的，再次提醒现在AI还不是AGIㄛ 02/01 10:54
35F：→ tsukirit : 网路到处都是WIFI，4G 5G 超普及，但硬体也没多赚 02/01 10:55
36F：→ cablate : 溢价两个字很暧昧，怎样才算溢价，现在回头看当初 02/01 10:55
37F：→ cablate : 各种显卡，其实也不值那个价格，不是吗XD 02/01 10:55
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 10:57:30
38F：推 axia : 请问ai backend有哪些相关技能可以入门呢 02/01 11:05
39F：推 AudiA4Avant : 那个底层优化不能移植不同GPU不是？ 02/01 11:05
40F：→ LDPC : 当你node跟node间通讯速度低於一个值 啥优化都没用 02/01 11:06
41F：→ LDPC : nvda还有transformer硬体加速 amd没有 02/01 11:07
42F：推 lpmybig : LDai救命 老黄跪太慢了 02/01 11:09
43F：→ LDPC : 楼上一起当韭菜吧 @@ a08说龙山寺还有位子 02/01 11:10
44F：推 cablate : 韭菜，一起，强大！ 02/01 11:10
45F：推 jiansu : 推 专业 优化算法减少硬体成本是持续永久的 以前的 02/01 11:14
46F：→ jiansu : 硬体也有机会受惠 这次很多旧硬体拿来跑本地Ai 拼 02/01 11:14
47F：→ jiansu : 算力就要the more you buy the more you save 这次 02/01 11:14
48F：→ jiansu : 成本降低远大於预期 会造成预期获利方式改变 要修 02/01 11:14
49F：→ jiansu : 正产业估值和发展模式 算力硬体还是刚需 但可能会 02/01 11:14
50F：→ jiansu : 变化 另外人有优化硬体想法 Ai有机会帮忙实作XD 02/01 11:14
51F：推 spa41260 : 算力需求当然是会越来越多，但会不会像现在溢价抢 02/01 11:15
52F：→ spa41260 : 货就是个问题了 02/01 11:15
53F：推 cablate : 总结，晶片/显卡长期利多，除非AI技术有超大突破， 02/01 11:18
54F：→ cablate : 大家发现不需要这两个玩意也能训练出大模型 02/01 11:18
55F：推 WTF55665566 : 说白了Deepseek就不是革命性创新 算是演算法革新 02/01 11:22
56F：→ WTF55665566 : 让AI运算更有效率 类似游戏的优化做的好这样 02/01 11:22
57F：→ WTF55665566 : 但这种东西大厂要拆解学习也很快 等大厂大团队跟的 02/01 11:23
58F：→ WTF55665566 : 差不多了 最後还是回到算力需求跟加大算力军备竞赛 02/01 11:23
59F：→ WTF55665566 : 02/01 11:23
60F：推 Skydier : 笑了 一个前几天还在说DS是假的咖小还在评论ㄚ 02/01 11:25
61F：推 black205 : 奇怪 不是说套皮吗 怎麽又开始硬拗了 02/01 11:25
62F：推 etset : 认真学炸薯条了 02/01 11:25
63F：→ black205 : 突然又在装业内 不是创新只是革新 笑死人 02/01 11:25
64F：→ black205 : 进步毒瘤 02/01 11:26
65F：→ Skydier : 不愧是政嘿货色 水准可见一斑 02/01 11:26
66F：推 pideo : 结论就是美猪就他妈的一群懒鬼啊，只想整天爽，然 02/01 11:27
67F：→ pideo : 後拿高薪啊 02/01 11:27
68F：→ pideo : 隔壁5毛是卷到啥都能降成本 02/01 11:28
QQ 这个是环境问题 美国的tiktok部门 同是中国人 已经卷输中国本土tiktok部门
现在中国人除非没地方去 也不太会去美国本土tiktok 因为要对打中国本土tiktok
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 11:30:21
69F：推 epephanylo : 期待这波讨论热潮过去 会有人整理各种懒人包 XD 02/01 11:29
70F：推 skullno2 : 这种文章我只能叫AI看完再教我惹 02/01 11:32
71F：→ hicoy : 降成本刚好是中国的强项 花钱大手大脚的欧美人学不 02/01 11:32
72F：→ hicoy : 来的 02/01 11:32
73F：→ WTF55665566 : 偷别人的主架构跟套皮优化又不冲突？更甚者本来就 02/01 11:34
74F：→ WTF55665566 : 是只花优化成本其余靠别人才可能压低成本啊 02/01 11:34
75F：→ hicoy : 然後一堆人还在纠结硬体相关的 没看到美股钱都塞到 02/01 11:34
76F：→ hicoy : 软体应用去了 02/01 11:34
77F：→ WTF55665566 : 美国人也不是学不来 而是全球化产业分工後他们把这 02/01 11:34
78F：→ WTF55665566 : 块都切给海外盟友来做了 日韩台都是 02/01 11:34
79F：→ WTF55665566 : 说转向软体股的去年就在喊了 结果也是雷声大雨点小 02/01 11:37
80F：→ WTF55665566 : 软体目前获利模式还是不够稳定 Chatgpt也还得扛庞 02/01 11:37
81F：→ WTF55665566 : 大成本 02/01 11:37
82F：推 stocktonty : 就像要特定的CPU跟板子跟电压才能超频的意思 02/01 11:37
83F：→ stocktonty : 用更高的CPU或是别的板子反而超不到那个时脉 02/01 11:38
84F：推 hpk89 : 卷软体人力的话不见得中国就吃香，因为後面还有一 02/01 11:41
85F：→ hpk89 : 个人更多的印度虎视眈眈 02/01 11:41
86F：推 iamaq18c : 赶快推 否则会被人发现看不懂XDDD 02/01 11:48
87F：推 panda816 : 中国内卷出来的东西还能吃到全球华语市场 而且使用 02/01 11:50
88F：→ panda816 : 习惯上更贴近华语圈的人 02/01 11:50
89F：推 HenryLin123 : 你要去哪间炸薯条，我跟你买可以帮我铲爆吗？ 02/01 11:52
90F：→ panda816 : 印度？我觉得文化差别太大了 他们研发的产品自己用 02/01 11:52
91F：→ panda816 : 是没问题 推广到外国就不看好了 02/01 11:52
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 11:55:39
92F：推 ppuuppu : 别去麦当当了，在美国卖地瓜/甘梅薯条会不会卖爆阿 02/01 11:55
93F：→ ppuuppu : ？ 02/01 11:55
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 11:57:33
94F：推 HenryLin123 : 地瓜薯条没看过有人卖，但是你地瓜进价可能也会很 02/01 12:04
95F：→ HenryLin123 : 贵。 02/01 12:04
96F：→ ksjr : sweet potato fries不算吗? 02/01 12:08
97F：推 q8977452 : 还特地左转 看是否为stock 板... 02/01 12:08
98F：→ q8977452 : 台湾就没软体呀...强的都去外商罗 02/01 12:09
99F：推 ctes940008 : 专业，不过微软这两天是发生什麽事..... 02/01 12:13
100F：推 ga278057 : 太专业了 02/01 12:14
101F：推 ga278057 : 懒包中国软体做得很好起飞了,湾硬体迟早没未来 02/01 12:17
102F：推 DPP48 : 专业推 02/01 12:25
103F：推 DPP48 : 赶快把演算法拿出来看 02/01 12:28
104F：→ ken85 : 最终还是卡HBM~~~~ 02/01 12:34
105F：推 OEC100 : 居然是真正的业内文，反正政治脑看不懂 02/01 12:36
106F：→ sid3 : 觉得ds很好可以搬去中国 02/01 12:42
108F：推 ejnfu : 反正我开美国科技业大老大部分都说不会因此减少高阶 02/01 12:47
109F：→ ejnfu : 晶片的投资，我反正是信了 02/01 12:47
算力就像是电力 永远不会嫌少 老黄无限多 真不行我就当社畜到70岁 @@/
110F：推 jimjim951357: 推 感谢分享 02/01 12:48
111F：→ Mytsb2421 : 中小企业能跑的动就够了，不用花大钱去买NV GG吧？ 02/01 12:48
112F：推 sean667cd : 推 LD大，LD大有一卡车的薯条可以炸来吃！ 02/01 12:52
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 12:58:03
113F：推 qweaaazzz : 推 专业分享 02/01 12:58
114F：→ qweaaazzz : 我打算卖了奢侈品车子房子睡公园星期一继续抄底老黄 02/01 12:59
115F：→ qweaaazzz : 等到老黄股价200 就去美国找LD大当邻居 02/01 13:00
116F：→ qweaaazzz : 大给供厚摁厚~~ 02/01 13:00
117F：推 qweaaazzz : 坚定信仰老黄 LD大不愧4代理教主 呜呜 02/01 13:06
118F：推 mdkn35 : 如果训练VRAM需求变少了的话 那下礼拜群联大概… 02/01 13:12
119F：推 a731977 : 02/01 13:26
120F：推 jhnny : 真的专业 02/01 13:30
121F：推 jerrywei24 : 补充说一下，deepseek的做法不只是让gpu需求下降， 02/01 13:36
122F：→ jerrywei24 : 还顺便让中国的显卡厂商看到竞争机会，这才是真正的 02/01 13:36
123F：→ jerrywei24 : 问题 02/01 13:36
124F：推 jamesho8743 : 股板就中低阶 讲太深没屁用别人又听不懂 你对不对 02/01 13:37
125F：→ jamesho8743 : 别人也不知道 结果不是瞎扯就是不明觉厉而已 02/01 13:37
126F：推 yesyesyesyes: 难得股版看到有料的，前几天一堆无脑酸的id 集体装 02/01 13:42
127F：→ yesyesyesyes: 死中 02/01 13:42
128F：推 genius0716 : 本周最优质文章 02/01 13:59
129F：推 kylecheng25 : 白话文：把复杂的模型变得简单有效率，但还是要用GP 02/01 13:59
130F：→ kylecheng25 : U去推，这样正确吗？（DS、NV或赢） 02/01 13:59
131F：推 sdbb : 99nvdl 02/01 14:07
132F：→ iamacomic : 真不愧是100镁当1块台币的矽谷大老... 02/01 14:30
133F：推 bala045 : 有料 02/01 14:31
134F：推 cablate : 此时不认为应该纠结硬体的到底都什麽傻逼 02/01 14:34
135F：→ PureAnSimple: 懂技术面比懂技术重要 02/01 14:38
136F：→ aspirev3 : 码农还是得刷题 演算法还是重要 02/01 14:47
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 14:49:51
※ 编辑: LDPC (76.21.72.78 美国), 02/01/2025 14:50:59
137F：推 create8 : 感谢分享 02/01 14:53
138F：推 gogogogo3333: 有料推 02/01 15:01
139F：推 winth : 算力即电力，那是不是电力也可以投资？ 02/01 15:01
140F：推 grayeric : 是不是也要学会煎汉堡排 这样才不会被AI淘汰 02/01 15:45
141F：推 jeromeshih : 推 02/01 16:39
142F：推 stcr3011 : 感谢分享 02/01 16:47
143F：推 coware : 确实 02/01 17:54
144F：→ bnn : 那照理来说NV现在应该先Train PTX优化的AI 02/01 18:19
145F：推 aegis43210 : 西台湾太早在模型剪枝，目前对西方国家来说不是立即 02/01 18:57
146F：→ aegis43210 : 性的威胁 02/01 18:57
147F：推 aaron68032 : 推 难得股板有料的文 02/01 19:20
148F：推 adamyang2000: 只是恢复正常的中国 看看世界历史 02/01 20:36
149F：推 kmoy : 这篇感觉好屌 02/01 21:10
150F：→ labell : 贩毒到美国的拿下半个欧洲跟巴拿马 02/02 07:54
151F：推 richaad : 很多说什麽DS用PTX绕过CUDA的，真的很低能，PTX就是 02/02 14:02
152F：→ richaad : CUDA的一部分啊，讲什麽绕不饶真的傻眼 02/02 14:02
153F：→ richaad : 而且你要用PTX去优化榨乾NV的性能，这实力绝不可能 02/02 14:03
154F：→ richaad : 说做到就能做到，DS强就是强在这里 02/02 14:03
155F：推 cablate : 绕什麽啊，CUDA是重点技术还绕，他们到底在说什麽x 02/02 16:22
156F：→ cablate : D 02/02 16:22
157F：推 richaad : 网路上就一堆白痴、低能自媒体说DS绕过CUDA ，真不 02/02 16:30
158F：→ richaad : 懂到底哪里绕过去了 02/02 16:30