作者ImHoluCan (爷)
看板Stock
标题Re: [情报] 50美元训练出媲美DeepSeek R1
时间Thu Feb 6 18:54:35 2025
好的
google 要不要把昨天财报上的说750亿设备支出
变成50美元支出？
李飞飞能直接表明蒸馏Google
Google 最好不知道还给你研究所蒸馏
那昨天Google 财报2025还要支出750亿呢？
还是明天台湾派人去蒸馏meta Google chatGPT?
看看他们要不要给蒸馏
※ 引述《LimYoHwan》之铭言
: 标题：
: 李飞飞团队用不到50美元训练出媲美DeepSeek R1的AI推理模型
: 来源：
: Futu
: 网址：
: https://tinyurl.com/ydrtdbu8
: 内文：
: 李飞飞等斯坦福大学和华盛顿大学研究人员近日以不到50美元的云计算费用训练了一个名
: 叫s1的人工智能推理模型。该模型在数学和编码能力测试中的表现与OpenAI的o1和DeepSe
: ek的R1等尖端推理模型类似。研究人员表示，s1是通过蒸馏法由谷歌推理模型Gemini 2.0
: Flash Thinking Experimental提炼出来的。
: https://i.imgur.com/kFg9GjU.jpeg
: 斯坦福大学以及华盛顿大学的研究团队展示了一种极低成本的 AI 训练方法，被称为 S1
: 。
: S1 仅使用 6 美元就能达到 OpenAI o1-preview 级别的推理性能！同时匹敌Deepseek R1
: 推理时间可控：S1 通过简单的“Wait”机制，控制大模型的思考时间，提高推理能力。
: S1 不是 OpenAI o1 或 DeepSeek R1 的直接复刻，但它揭示了在推理时微调 AI 的潜力
: ，甚至可以媲美 Reinforcement Learning（强化学习）。
: OpenAI 和 DeepSeek 早期研究发现，AI 在回答问题时“思考得更久”，往往能得出更好
: 的答案。但过去并没有清楚解释：如何在推理阶段控制 AI 的思考时间？
: S1 的创新点： S1 论文提供了推理时间扩展（Inference Scaling）的具体实现方法：
: 核心思想：
: 如何在不改变 AI 训练过程的情况下，提高 AI 解决复杂问题的能力？
: 方法：让 AI 在推理时“多想几秒”，自动检查自己的答案，从而减少错误，提高正确率
: ！
: 结果证明，这种方法比 OpenAI o1-preview 还要好！
: 最重要的是：而且只用了 1000 道题！ 这比一般 AI 训练的数据少了 800 倍，但效果仍
: 然很强！
: 此外，该模型可以在笔记本电脑上运行，并且其训练成本仅为 6 美元。
: 论文下载
: https://arxiv.org/pdf/2501.19393
----
Sent from
BePTT on my iPhone 16
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.141.220.124 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738839278.A.133.html
1F：推 watashino : 看ptt就知道我的获利都从哪些人手上来的了 02/06 18:57
2F：→ eeqqww112233: 你有了解模型跟基础设备的差异吗… 02/06 19:00
3F：推 Mosskappa : 所以就是资本收割筹码的手段，了解的就不会恐慌反 02/06 19:01
4F：→ Mosskappa : 而开心能补货@@ 02/06 19:01
5F：推 bonny5566 : 大家都等抄答案就好 02/06 19:02
6F：→ bonny5566 : 努力写题的是白痴 02/06 19:02
7F：推 PureAnSimple: 我比较喜欢李冰冰 唯一支持 02/06 19:03
8F：→ ImHoluCan : 各位AI大师，要不要组ㄧ队？ 02/06 19:03
9F：→ wr : 李飞飞跟google很熟啦 都副总裁了 应该有讲好吧 02/06 19:10
11F：→ zer0319 : 没有一个头後面要怎麽蒸馏，还是大家都在原地互相蒸 02/06 19:13
12F：→ zer0319 : ？ 02/06 19:13
13F：推 duriamon : 这波NV持续吃AI基建的大饼，因为目前AI发展除了大陆 02/06 19:16
14F：→ duriamon : 被锁死，全部都用NV的CUDA，目前仍很难看到取代性。 02/06 19:16
15F：→ duriamon : deep seek跟现在的开源鬼故事，反而是证明搞不好H10 02/06 19:16
16F：→ duriamon : 0那种5奈米晶片提供的算力及成本CP值就足够了，怕是 02/06 19:16
17F：→ duriamon : 未必会一直需要增加晶体管密度。 02/06 19:16
18F：→ zer0319 : 而且基建要算力、後续运作、实体终端也都要算力啊， 02/06 19:17
19F：→ zer0319 : 又不是只有训练需要 02/06 19:17
20F：推 zerro7 : 我蒸馏你的蒸馏他的蒸馏 会不会後面变成闭环 02/06 19:18
21F：→ duriamon : 并不是单靠蒸馏，是新模型的架构以及训练方法都开始 02/06 19:19
22F：→ duriamon : 跟2023年流行的原始方式不同，早期像GPT3、4根本就 02/06 19:19
23F：→ duriamon : 只是鹦鹉的增强版，而且还是很肥很胖要高额饲料钱的 02/06 19:19
24F：→ duriamon : 鹦鹉。 02/06 19:19
25F：→ wr : 我小时候也看过有人说pentium效能已经够用了 02/06 19:21
26F：→ duriamon : 现在的进展就跟AlphaGo一开始需要人类老师手把手教 02/06 19:21
27F：→ duriamon : 後来自己跟自己下棋自己学是类似的情况，整天说蒸馏 02/06 19:21
28F：→ duriamon : 的根本搞不清楚状况，笑死！ 02/06 19:21
30F：推 jfw616 : pentium本来就够用了 02/06 19:24
31F：→ jfw616 : win xp再战20年不是问题 02/06 19:24
32F：→ jfw616 : 大多数文书处理电脑…那个不是pentium就够用了 02/06 19:24
33F：→ duriamon : 晶体管密度越密价格越贵，除非台积电降价，要不然连 02/06 19:24
34F：→ duriamon : 苹果都吃不消，以为台积电会一直得利的我倒不认为， 02/06 19:24
35F：→ duriamon : 因为技术发展也是要看CP值的，这点OpenAI就是不良示 02/06 19:24
36F：→ duriamon : 范，你要钱要过头大家都受不了。 02/06 19:24
37F：→ jfw616 : 不够用单纯就是某些软体一直修改 02/06 19:25
38F：→ jfw616 : 才搞得不够用 02/06 19:25
39F：→ wr : 原本一个房间大的大型主机变成摆在桌上的小方块 这 02/06 19:25
40F：→ wr : 麽强的能力怎麽可能不够用 难道你会需要比核武还复 02/06 19:25
41F：→ wr : 杂的计算吗？ 02/06 19:25
42F：→ jfw616 : 我就举例iphone4就好 02/06 19:26
43F：→ jfw616 : 那时候我拿iphone4上ptt…l 02/06 19:26
44F：→ jfw616 : 现在拿iphone16上ptt 02/06 19:26
45F：推 good5755 : 李飞飞曾任google的副总裁 说不定google的模型就是 02/06 19:26
46F：→ good5755 : 他一手策划 这叫左手换右手 02/06 19:26
47F：→ jfw616 : 到底差别在哪里？ 02/06 19:26
48F：→ duriamon : 问题是现在靠软体设计模型的架构跟演算法进步直接让 02/06 19:26
49F：→ duriamon : 需求卡在5奈米，你花大钱搞1-2奈米就变盘子了，呵呵 02/06 19:26
50F：→ duriamon : ！ 02/06 19:26
51F：推 Mosskappa : 五代机够用了不用开发六代了吗，烧再多钱也要搞啊 02/06 19:27
52F：→ Mosskappa : ，军备竞赛就是这样 02/06 19:27
53F：→ Mosskappa : 真正的AI不在语言模型 02/06 19:27
54F：→ jfw616 : 其实花大钱当盘子没差…其实以70亿人口平均下去 02/06 19:27
55F：→ jfw616 : 根本不算多 02/06 19:27
56F：→ jfw616 : 这些科技公司都是以全球70亿人口规模去计算的 02/06 19:28
57F：推 AudiA4Avant : 没有所谓的够用这种事的 02/06 19:28
58F：→ duriamon : 我还是要老话一句，人类大脑参数70B功耗60W记忆体4G 02/06 19:29
59F：→ duriamon : B，你一身都只需这样的配备等级就可以吃喝拉撒生老 02/06 19:29
60F：→ duriamon : 病死，现在摆明软体演算法还有很大的进步空间。 02/06 19:29
61F：嘘 RiverEdge : 蒸馏也要先有大模型 所以大模型要先训练出来 02/06 19:30
62F：→ Mosskappa : AI结合医疗就是很多绝症攻克的曙光，太多路能走了 02/06 19:30
63F：→ Mosskappa : ，没人会停下脚步 02/06 19:30
64F：→ duriamon : 当然硬体功耗也有很大的进步空间，现在实在太耗电， 02/06 19:30
65F：→ duriamon : 吃电怪兽不是叫假的！ 02/06 19:30
66F：→ CYL009 : 说得很好啦 算力越高越好 但是现在都有低成本差不多 02/06 19:31
67F：推 bonny5566 : 楼上 现在就算的比人类快了 02/06 19:31
68F：→ CYL009 : 性能的AI出来了 还一直堆算力这方向有没有问题？ 02/06 19:31
69F：→ wr : 耗电跟发热问题就是要靠先进制程克服阿... 02/06 19:32
70F：→ wr : 更小更快更省电 制程目标也就这样 02/06 19:33
71F：→ duriamon : 算的比人类快但明显还比人类笨，你算加减乘除数Stra 02/06 19:34
72F：→ duriamon : berry有几个r比AI还要在行，现在是AI记忆体不止4GB 02/06 19:34
73F：→ duriamon : 所以你觉得AI好像比人类聪明，但放到同等级距，你屌 02/06 19:34
74F：→ duriamon : 赢AI。 02/06 19:34
75F：→ vicklin : 前提那个成本是真的 02/06 19:35
76F：→ vicklin : 连马斯克都不认的东西 02/06 19:35
77F：推 duriamon : 所以幻方比OpenAI、微软跟马斯克有钱吗？ 02/06 19:36
78F：推 tsubasawolfy: AI圣杯拿到前谈算力够都是假的 02/06 19:37
79F：→ zer0319 : AGI出来之前，医疗、军工上面还是大有可为 02/06 19:37
80F：推 jiansu : Google怎样说都是赚钱的吧 他可以用ai节流 裁员/节 02/06 19:37
81F：→ jiansu : 省资源 开源 开发新应用 应该没有什麽先前支出回 02/06 19:37
82F：→ jiansu : 报的问题 开发模型是一定要投入开发 比如搜寻 不投 02/06 19:37
83F：→ jiansu : 入开发等别家用ai抢市占吗 现在卷模型 下波卷应用 02/06 19:37
84F：→ jiansu : ai应用市场更大 需要更便宜的硬体更低的成本 02/06 19:37
85F：推 AudiA4Avant : 人脑的记忆力很差，不能完全比吧 02/06 19:38
86F：推 Brioni : 说不定下季就从750亿美金变150亿美金 02/06 19:38
87F：→ tsubasawolfy: 而且你怎麽会认为人很聪明 02/06 19:38
88F：→ Brioni : 大公司策略没那麽灵活 02/06 19:38
89F：推 seemoon2000 : Google要做的又不是只到这边为止 02/06 19:40
90F：推 Mosskappa : 要知道中国摆明要跟美国竞争了，川普一定会把AI放 02/06 19:41
91F：→ Mosskappa : 在国安层级的高度 02/06 19:41
92F：→ zer0319 : 投资人就是要看到你花一堆资本支出，设备都可以折 02/06 19:41
93F：→ zer0319 : 旧摊提，而且现在7巨花的钱都是自己赚的现金流和之 02/06 19:41
94F：→ zer0319 : 前低利借的钱，根本不怕烧 02/06 19:41
95F：推 duriamon : 人类很聪明呀！GPT-4参数量大概有175B的吃电怪兽却 02/06 19:41
96F：→ duriamon : 连9.11跟9.9哪个大都不知道，连草莓英文几个r都会数 02/06 19:41
97F：→ duriamon : 错。 02/06 19:41
98F：→ Mosskappa : 现在有推理模式，可以自我纠正错误了 02/06 19:42
99F：推 guanting886 : ？？？？？ 02/06 19:43
100F：→ duriamon : 人脑4GB记忆体是究极压缩的成果，让人类的功耗只有6 02/06 19:43
101F：→ duriamon : 0W，却能有爱因斯坦的性能。 02/06 19:43
102F：推 Mosskappa : 看用什麽角度思考，现在AI已经可以解奥赛题目了， 02/06 19:45
103F：→ Mosskappa : 比当初轰动世界的gpt3.5强大太多 02/06 19:45
104F：推 AudiA4Avant : 9.11 跟 9.9的原因是训练资料当成版本号 02/06 19:45
105F：推 duriamon : 我要讲的不是吹嘘人类很棒，而是AI模型仍有很大的进 02/06 19:46
106F：→ duriamon : 步空间包括架构跟演算法都是。 02/06 19:46
107F：推 afflic : 解的出数奥题目，解不出9.9跟9.11哪个大 02/06 19:47
108F：推 Mosskappa : AI一开始画画不也是画不出手指吗 02/06 19:48
109F：→ duriamon : 像Altman之前那种Scaling Law教主模样，拼命堆参数 02/06 19:49
110F：→ duriamon : 量，是不会开发出人类这样精致又厉害的大脑的。重点 02/06 19:49
111F：→ duriamon : 是在可接受的功耗成本下达到人类程度外加相比人类无 02/06 19:49
112F：→ duriamon : 限大的记忆体，这才是AI的目标。 02/06 19:49
113F：→ Lowpapa : NV真的完了 02/06 19:49
114F：推 banbanzon : 一直蒸馏484以後5毛钱就能训练? 02/06 19:51
115F：推 tsubasawolfy: 但爱因斯坦不是全才 比较像现在特化後的 02/06 19:53
116F：→ tsubasawolfy: 现在他们在搞得根本是想弄出全才 02/06 19:54
117F：→ ImHoluCan : 台湾怎麽还不跟上？ 02/06 19:54
118F：推 Mosskappa : 其实OpenAI 的训练成本也是一直降低，没有只是无脑 02/06 19:55
119F：→ Mosskappa : 堆算力、参数 02/06 19:55
121F：→ Mosskappa : 这图是推论，训练的没有存 02/06 19:56
122F：推 duriamon : 所以才流行MoE呀！你遇到你不会的问题会怎麽做？爱 02/06 19:56
123F：→ duriamon : 因斯坦不会修水电他会自己研究到当水电工吗？还是打 02/06 19:56
124F：→ duriamon : 个电话叫人来修？ 02/06 19:56
125F：→ saisai34 : 如果水电工很贵 爱因斯坦会自己研究怎麽修水电@n@a 02/06 19:57
126F：→ duriamon : AI模型很多重大进展都是模拟人类大脑的结果，只是哪 02/06 19:58
127F：→ duriamon : 个有效需要try and error，这点华人最擅长了，呵呵 02/06 19:58
128F：→ duriamon : ！ 02/06 19:58
129F：推 Mosskappa : 人类是演化几十万年的结晶，AI发展不会这麽快。DS 02/06 19:59
130F：→ Mosskappa : 执行长也说五年内很难有agi 。但还是要做 02/06 19:59
131F：推 ohlong : 急着蒸出能塞进edge跟机器人的model 就是未来五年 02/06 19:59
132F：→ ohlong : 的赢家 以为机器人喊喊而已吗？今年就是前哨站了 02/06 19:59
133F：→ Mosskappa : 美国AI这块也很多是清华北大的学生，或是华裔 02/06 20:00
134F：→ duriamon : 所以我才说预估是4-6年可以搞出AGI，NV会一直吃AI基 02/06 20:02
135F：→ duriamon : 建大饼，我早就讲过了，呵呵！ 02/06 20:02
136F：→ duriamon : 跟台湾比较有关的是台积电会扮演什麽角色，台积电被 02/06 20:05
137F：→ duriamon : 川普点名下势必要降价跟设厂才能继续吃饼，要不然光 02/06 20:05
138F：→ duriamon : 川普乱搞就够台积电受的了，万一真的被我讲中5nm就 02/06 20:05
139F：→ duriamon : 够用，台积电的优势就会慢慢缩小。 02/06 20:05
140F：→ ImHoluCan : 台湾政府还不快买AI建设，真的要输对岸了 02/06 20:05
141F：→ ImHoluCan : 台湾还不快买硬体 02/06 20:05
142F：→ shorty5566 : 好了早就讲过了预言家 我只问一句 你赚多少 02/06 20:07
143F：→ xkso : 又一堆恐慌仔？ 国年笑话还不够？ 02/06 20:09
144F：推 duriamon : 关你屁事？deep seek酸建议去等OpenAI股票上市去all 02/06 20:09
145F：→ duriamon : in呀！笑死！ 02/06 20:09
146F：推 bj45566 : 台湾 AI 早就远输给中国了好吗... AI 现在就是美中 02/06 20:10
147F：→ bj45566 : 争霸局面 02/06 20:10
148F：→ kilhi : 中国不能用google 02/06 20:10
149F：推 ohlong : 台湾只能玩地方包围中央 edge晶片跟硬体至少我们系 02/06 20:11
150F：→ ohlong : 统厂还是有优势 02/06 20:11
151F：推 ntr203 : 台湾哪有那麽多闲钱自己研发 02/06 20:11
152F：推 breathair : 硬体边际效应下降之後，现在的AI竞赛 02/06 20:12
153F：→ breathair : 已经来到算法优化了。硬体当然也需要， 02/06 20:12
154F：→ breathair : 但是溢价抢买的时光已经过去了，硬体越 02/06 20:12
155F：→ breathair : 等越便宜，你在等硬体的时候，优化算法 02/06 20:12
156F：→ breathair : 才是王道了 02/06 20:12
157F：→ breathair : 接下来应用面白家争鸣，QQQ接下来应 02/06 20:13
158F：→ breathair : 该能跑赢现在贵森森的NV 02/06 20:13
159F：→ ohlong : ASIC至少我们拿到的制程一定赢对面 02/06 20:13
160F：推 duriamon : 也不是没有钱，就钱被拿去养动物了吧？动物园营收会 02/06 20:13
161F：→ duriamon : 看涨吗？呵呵！ 02/06 20:13
162F：→ shorty5566 : “我早就说过了！我早就讲过了！早就告诉你们了” 02/06 20:17
163F：→ shorty5566 : 真好奇这些人在股市赚多少 科科科 02/06 20:17
164F：推 duriamon : COVID时我讲拿台股赚的去美股继续赚，我还真有说过 02/06 20:18
165F：→ duriamon : ，呵呵！ 02/06 20:18
166F：→ dsrte : 以前用google时，有在限制只能搜寻甚麽吗? 甚麽都找 02/06 20:28
167F：推 stlinman : 不认识李飞飞Google很难吗? 看新闻不会自己Google查 02/06 20:28
168F：推 patrol : 连中吹都不敢买陆股，哥也早就说过了 02/06 20:28
169F：→ stlinman : 证唷? 自己阴谋论瞎猜! 02/06 20:28
170F：→ dsrte : 才有市场,ai模型问甚麽都能答才好用 02/06 20:28
171F：推 jo4 : 事实铲子只会越卖越贵 02/06 21:10
172F：推 bj45566 : 台湾的 AI 人才十个有九个半去美国了，要怎麽发展？ 02/06 21:18
173F：→ ImHoluCan : 台湾人真的搞笑，台积电才是让台湾人才都死掉的地 02/06 21:57
174F：→ ImHoluCan : 方 02/06 21:57
175F：推 mccloud : 喔 然後？ 02/06 22:48
176F：→ mccloud : 适合走芬兰模式 众多新创？ 02/06 22:49
177F：→ mccloud : 还不是像htc一样 稍有起色就被买走 02/06 22:49
178F：推 kobebrian : 台积电让台湾人才死掉 对啦 张忠谋一定是想残害台 02/06 23:07
179F：→ kobebrian : 湾才说台湾人只有代工才能赢别人 02/06 23:07
180F：推 jamesho8743 : duri就是在瞎扯 似懂非懂 AI的目标是什麽? 可接受 02/07 10:31
181F：→ jamesho8743 : 的功耗成本下达到人类的程度而已? 那只是低阶的客 02/07 10:31
182F：→ jamesho8743 : 服或自驾应用而已 请问你alphago 的目标是什麽? 不 02/07 10:31
183F：→ jamesho8743 : 就是下出神之一手完全打败人类? 超级智慧才是AI的 02/07 10:31
184F：→ jamesho8743 : 终极目标 还有你知不知道涌现? 现在的LLM模型会强 02/07 10:31
185F：→ jamesho8743 : 是因为把参数量拉高到几十B几百B之後突然就发现很 02/07 10:31
186F：→ jamesho8743 : 厉害了 这也是大家之前为什麽要抢购硬体的原因 如 02/07 10:31
187F：→ jamesho8743 : 果你演算法不变光硬体够强训练个几T参数的模型搞不 02/07 10:31
188F：→ jamesho8743 : 好变得超级强 认为不需堆算力的人就纯粹是个可笑 02/07 10:31
189F：→ jamesho8743 : 堆算力跟算法改进根本就两件分开的事 02/07 10:31
190F：推 jamesho8743 : 这样说吧 如果你只是想省钱 只是想能打败人类就好 02/07 10:42
191F：→ jamesho8743 : 那3070+katago就已经够了 如果你是想拿第一打败对 02/07 10:42
192F：→ jamesho8743 : 手跟别的AI比赛那就永远都不够 02/07 10:42
193F：推 duriamon : 人类70B就能涌现了啦！你才搞不清楚状况，人类输AI 02/07 16:33
194F：→ duriamon : 不是缺乏智慧是缺乏记忆体，这是生物限制因为能耗不 02/07 16:33
195F：→ duriamon : 能储存一堆跟生存无关的事物，实际上目前AI在逻辑推 02/07 16:33
196F：→ duriamon : 理就是屌输人类，上次那个菲尔兹数学奖得主出题的Fr 02/07 16:33
197F：→ duriamon : ontierMath测试集，OpenAI还要靠作弊才25%，笑死！ 02/07 16:33
198F：→ duriamon : 你标准就是半桶水才在那边吹涌现，做到动辄好几百B 02/07 16:39
199F：→ duriamon : 才涌现然後说AI好棒棒？举那个AlphaGo更好笑，在Dee 02/07 16:39
200F：→ duriamon : pmind AlphaGo之前就是因为只会堆积算力想靠算棋来 02/07 16:39
201F：→ duriamon : 赢人类，结果老是被人类棋手打败，後来改往人类的模 02/07 16:39
202F：→ duriamon : 糊推理去运作才产生AlphGo才超越人类的。现在AI模型 02/07 16:39
203F：→ duriamon : 就是还需要在演算法跟架构修正让它能模拟人类大脑运 02/07 16:39
204F：→ duriamon : 作，好吗？ 02/07 16:39