作者zzahoward (Cheshire Cat)
看板Stock
标题Re: [新闻] OpenAI：已掌握DeepSeek盗用模型证据
时间Thu Jan 30 07:26:03 2025
以下部分资讯来自於Reddit anitakirkovska文章的翻译
LDPC哥哥讲到一个重点
Reinforcement Learning =/= Reinforcement Learning from Human Feedback
这也是R1为什麽爆红的原因
https://imgur.com/lunsvb2.jpg
GPT-4最强的地方是他有了某方面的"思考链"
(chain-of-thought) 也就是能做出更灵活更准确的推理
但OpenAI是怎麽做出来的并没有公开，而Deepseek R1是直接公布出来
图里面的缩写全名如下
Cold start data: 最低限度标记的资料集合，让模型更好理解任务
RL: Reinforcement Learning 模型透过评分奖励来学习正确答案以及思考逻辑
RLHF = 用人工审查，所以才有当初Google要员工去喂Bard的新闻
SFT: Supervised fine-tuning 用标记的资料去训练模型让他在特定领域中更精准
Rejection sampling: 模型产出多个结果的时候选择特定满足标准的输出
其实其他部分都差不多，但Deepseek是用什麽方式去压低成本去做Pure RL?
用他们自己研发的Gpro (Group Robust Preference Optimization)
https://arxiv.org/abs/2405.20304
他们怎麽不透过人工去确定产出优劣?
逻辑就是建立最佳猜测的模型: Coherence, Completeness, Fluency
但这也带来另外一个缺点
就是poor readability (阅读性差)、language mixing(语言混和)
所以Deepseek用第一张图的方式去解决
Cold start data处理易读性
用RL+Rejection sampling+SFT反覆验证计算并Fine tune 结果
但R1背後的意涵，其实是RL能让小模型在专精领域出头天
透过Distill然後微调RL内容，可以在专精领域如药物、材料...等取得更好的成果
而不用再被绑死於大型语言service provider的服务
而这个也带来一个影响
企业在AI应用上会更有弹性，同时AI实际应用的穿透性更高
https://tinyurl.com/ms2vev4s
R1背後的逻辑和技术，用在小模型上面有极大的成本优势
大型语言的发展依然会持续，但硬体算力军备竞赛的资本投入势必会减少
因为大型语言还是适合多数小白使用者 (如我)
以GPT-4来说，他给的回答讯息会很完整包括前因後果
而R1给的就是非常简洁.....不太废话
对专业人士来说，R1有时候只给你一行字其实非常的有效率
但智障如我就必须要花更多时间去思考
BTW R1在Ethical Considerations 上面多数人评价是比GPT4还好喔XDDDD
看到这东西，反正是开源的，程式码都摊开在那边给你看
应该是要想着怎麽去利用，而不是讨论中/美或成最大赢家吗?
怎麽搞到变成政治意识形态的争执了?
有些推文一直扯到超导体，我就不懂有什麽可比性...
本身有一点点计算机概论底子加上英文能力就可以去稍微理解这东西
结果很多人都只用台湾媒体或网红的贴文去判断，这个逻辑不太行阿
※ 引述《LDPC (Channel Coding)》之铭言：
: 现在全网路上的开源数据资料是属於pre-training端 大多都是野生数据 无标签
: 那东西只是让模型去向鹦鹉一样 去做文字接龙
: 但第二阶段训练会用到RLHF (Reinforcement Learning from Human Feedback)
: 就是要人类针对不同数据给意见 这个是要给标签
: 所以你才会听到狗家之前要求全公司员工去给意见让Gemini前身 Bard 去做人类feedback
: 这个人工成本是很大
: Deepseek-R1跟大家说 我们不用人类给的feedback了 我们可以免除这块
: 大家都在讨论的叫做sythetic dataset
: 这个步骤是来自於你有许多野生数据 但需要加上标签 那标签可以拿更强大模型来标注
: 比方说 一道数学题目 你可以用人类写解答 或者要拆步骤 每步骤让gpt-4o写个答案
: 这就是所谓synthetic dataset 然後用这组数据去调教模型 这步骤会决定
: 你的模型多智能 这过程就是call api 现在ai界都这样干 缺点就是训练模型上限就是
: 原始母模型 这跟传统蒸留 用模型直接交模型不太依一样
: 这种方式就是可以用低成本 接近gpt-4o 但你如果这样干 你模型就不能商业化
: 顶多发表到文章 讲你这是怎样做 最经典例子就是LLaVA那篇 讲如何用gpt4o
: 产生sythetic dataset让textLLM 变成多模态 直接打爆其他大厂高成本多模态
: 之前网路上已经有人在讨论 到底deepseek有没有用api去合成数据
: https://reurl.cc/A6ab98
: https://x.com/bboczeng/status/1883374489519698413 (zero是r1第一版)
: 在training这部分还没定案之前 大家就先吃瓜看看吧 @@
: 但这思路还是有可取之处 就是模型教模型 不要再用人类RLHF去教模型
: https://x.com/op7418/status/1884065603184681162
: 这有点像回到当年alphago那条路线 模型互相教
: 下面网址是第三方 大家要复制deep-seek R1开源计画 任何人想参加都可以
: https://huggingface.co/blog/open-r1
: 目前公认是dep-seek R1隐藏了
: Replicate the R1-Distill models by distilling a high-quality
: reasoning dataset from DeepSeek-R1.
: 上面专案在徵求大家尝试去制造出合成数据
: 好了 我要去炸薯条了 @@/ 救救我
: ※ 引述《IBIZA (温一壶月光作酒)》之铭言：
: : 各家互相参考, 指的是训练方法还有训练的文本挑选, 蒸馏不太一样
: : AI = 模型的程式码+训练
: : 能开源的部分只有程式码, 训练是看各自调教
: : 模型的能力够, 差不多的调教方式就会得到差不多的结果
: : 训练方法更好, 或是文本品质越高、越多样、量越多, 模型就越强
: : 自从OpenAI爆红以来, 大公司的LLM模型都是遵循OpenAI的训练方法
: : 预先训练: 拿大量文本让AI模型学习基本语言能力、基本知识
: : 监督微调: 有了基本能力之後, 模型开始有推理能力
: : 这时候由人类介入, 告诉模型怎麽想是对的, 怎麽想是错的
: : 之前所谓的贴标签, 就是这个阶段
: : 奖励建模: 把对错的判断建立模型, AI想对了, 这个模型就奖励他
: : 强化学习: AI自己跟自己练习
: : 不管是meta还是google, 之前都是照OpenAI这个成功模式做
: : 所以这些公司能做的就是拚算力, 透过更大量的训练, 希望最终可以暴力超车
: : 但蒸馏就不同, 蒸馏是直接拿另一个模型的推理结果, 让另一个模型照着得到同样结果
: : 譬如我要我刚刚问ChatGPT, 要他给举例说明什麽是拟人法
: : 他的回答是这样
: : https://i.imgur.com/ey5mX61.png
: : ChatGPT要回答这个问题, 中间要经过很多推理, 譬如他要先理解我的问题
: : 这里面就牵涉到, 他要理解我讲的拟人法是修辞当中的拟人法
: : 然後再从这一个理解, 去思考拟人法的意思是甚麽, 最後再想出一个符合范例
: : 蒸馏的话, 就是学生模型已经预先知道这个问题的答案是甚麽
: : 有头有尾, 要生出中间的推理就会比较容易
: : 但这里有个问题
: : 你要用蒸馏让一个模型得到另一个模型类似的能力
: : 通常就是需要老师模型产生极大量的练习後结果
: : 才能传授毕生功力给学生模型
: : 如果ChatGPT是开源模型, 可以自己部署在自己平台上
: : 要做这样大规模训练是有可能
: : 但ChatGPT无法部署在自己平台
: : (刚刚有人说ChatGPT 2可以, 但蒸馏顶多只能逼近老师, 用ChatGPT 2只能蒸出垃圾)
: : 所以要做蒸馏只能透过API, 而要透过API做几千万甚至几亿规模的蒸馏训练
: : 这难度极高啊....
: : (ChatGPT刚刚教我另一个方法
: : 就是拿一个原本就有ChatGPT4能力的模型
: : 这样只要少量训练, 就能超越ChatGPT 4
: : 但原本就有ChatGPT 4能力的新模型难道自己会生出来吗XD
: : 你还是得先得到这个模型啊...就是V3
: : 那V3怎麽来?)
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.163.78.138 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738193167.A.6B9.html
1F：推 superAchung : 消息一堆，但我只相信真金白银交易的投资人，看这三 01/30 07:35
2F：→ superAchung : 天NV, tsmc adr 股价就知道了 01/30 07:35
3F：推 humorforever: 青鸟：DS有没有台湾价值，没有就是垃圾 01/30 07:46
5F：推 FK6819 : 少年股神：崩盘时就是世界末日 01/30 07:48
6F：→ qxpbyd : 小模型套完是真的会变强的 01/30 07:48
7F：推 haklim : 开盘会跌多少 01/30 07:49
8F：推 guybejude : 推 结论 01/30 07:50
9F：→ HAPPYISCASH : 台湾人素质比美国人烂多了 01/30 07:51
10F：→ HAPPYISCASH : reddit一堆专业文 01/30 07:51
11F：→ HAPPYISCASH : 台湾人只会在那边64 01/30 07:51
12F：→ HAPPYISCASH : 笑死 01/30 07:51
13F：→ HAPPYISCASH : 还什麽破解言论审查 的it大臣也能上新闻lol 01/30 07:51
14F：推 neo5277 : 验证台湾媒体这次一半以上都是垃圾 01/30 07:53
15F：→ HAPPYISCASH : 各国的论坛看一看 01/30 07:53
16F：→ HAPPYISCASH : 台湾论坛素质跟回教国家差不多 01/30 07:53
17F：推 ksjr : 应该是同一篇看到的英文解说youtube多一点点detail 01/30 07:53
我整篇写完太长了啦 而且大家也没兴趣看 就挑重点讲
而且我本身也没完整的专业知识，所以也只能Distill? XD
但整串看下来，有些人连distill都不会.....
19F：→ HAPPYISCASH : 回教社会 随便一个文章都能扯到 宗教对抗 01/30 07:54
20F：→ HAPPYISCASH : 台湾是随便一个文章都能扯到抗中保台 01/30 07:54
21F：→ HAPPYISCASH : 北七 01/30 07:54
22F：→ ksjr : 还有重建r1的github 有心志士们 快冲啊! 01/30 07:54
24F：推 neo5277 : 这篇算完整，但股版讲这麽细喔，我前几篇都没讲想 01/30 07:55
25F：→ neo5277 : 说真的有人会想看吗 01/30 07:55
26F：→ newwu : DS 的技术当然是真的，对开发LLM和推理模型也很有 01/30 07:56
27F：→ newwu : 帮助，但也确实蛮有可能在中间用到ChatGPT 的生成去 01/30 07:56
28F：→ HAPPYISCASH : 台湾是说你五毛粉红支那 01/30 07:56
29F：→ HAPPYISCASH : 回教是说 你真主阿拉的叛徒 01/30 07:56
30F：→ HAPPYISCASH : 笑死 01/30 07:56
31F：→ newwu : 微调，美中如何出手和股市息息相关 谁说不重要，这 01/30 07:56
32F：→ newwu : 是股板 01/30 07:56
33F：推 patrol : 大的搞的了小的，小的搞不了大的，有没有可能以後一 01/30 07:57
34F：→ patrol : 个星门就可以解决所有问题？ 01/30 07:57
36F：推 ohlong : 看了一下gpro原来是ppo的变化型 本来需要一个等同 01/30 07:59
37F：→ ohlong : 模型规格的actor变成分组验证 在网路上一直搜寻新 01/30 07:59
38F：→ ohlong : 的输出让RL准确性更高 01/30 07:59
39F：推 j0588 : 台湾就是文组误国啊 理组负责赚钱给文组乱花 01/30 08:00
40F：→ Windtears : 上面文章分析很好，两者间不影响继续资本支出 01/30 08:01
41F：推 linecross : 推这篇 01/30 08:01
42F：推 Callus : 高佳鱼学姊委员就是猛打中国造假 还上YAHOO头版 01/30 08:02
43F：推 AaronWang : 推 01/30 08:06
44F：推 benson502 : 这边就是低能网军互打，期待啥素质 01/30 08:07
45F：推 james80351 : 经过这次事件才知道台湾很多人很有勇气 爱抢着出来 01/30 08:09
46F：→ james80351 : 发文让大家知道自己没长脑 01/30 08:09
47F：→ benson502 : 正常台湾人连假都在日本玩，不然就是计画出国，在 01/30 08:09
48F：→ benson502 : 这边鬼混带风向要嘛5毛要嘛1450 01/30 08:09
49F：推 comboday : 嗯嗯跟我想的差不多(? 01/30 08:10
50F：推 s77329 : 推 01/30 08:11
51F：推 ohlong : 讨论到这答案大概也揭晓了 gpro是关键 但是跟RLHF 01/30 08:11
52F：→ ohlong : 相比 大概只有数理这种答案对错很明确的问题吃香 01/30 08:11
53F：→ ohlong : 玩agi不小心玩出edge的未来趋势？哈 01/30 08:11
54F：→ benson502 : 没发现多数心得只有两种吗。5毛：中国超强。1450： 01/30 08:12
55F：→ benson502 : 中国制不可信 01/30 08:12
56F：推 RTAngel : 标准 股板 无用文 01/30 08:13
57F：→ tctv2002 : 看台湾的评论 会觉得DS是假货 一堆假专家 01/30 08:14
58F：推 cphe : 推，做股票还在意识形态根本就找死而已，当然是看 01/30 08:18
59F：→ cphe : 哪边有利就压哪边 01/30 08:18
60F：→ demintree : distillation不是微调啊，会有争议的是他拿别人的大 01/30 08:19
61F：→ demintree : 模型来当他自己的训练 01/30 08:20
62F：→ demintree : MoE也不是新概念，其实OpenAI和Gemini里面都是 01/30 08:21
其实很多小模型都用别人的模型来训练阿 然後Distillation应该是指V3的部分?
但V3本身是"Nothing"，R1对V3的演算法才是重点
V3水准一堆开源都做得到
63F：推 ksjr : 楼上没看解说齁?r1是蒸馏自己的model欸 01/30 08:21
64F：→ demintree : 结论是他们很有效率的用其他人的模型为辅助产生了新 01/30 08:22
65F：→ demintree : 的模型，这对於很多新进厂商很有帮助 01/30 08:23
66F：推 gogorice : 不懂又爱鬼扯太多，跟旧版chatgpt一个德行 01/30 08:23
67F：→ demintree : 谁跟你说他只有蒸馏自己的model? 01/30 08:23
68F：推 harlenshaco : 推 01/30 08:24
69F：推 Fezico : 看不懂的跟我去洗碗就好惹 01/30 08:25
70F：→ newwu : 应该说很多不太懂的人在讨论可不可能盗用ChatGPT， 01/30 08:26
71F：→ newwu : 都是以完全蒸馏的前提，这前提就错了，有盗用的话， 01/30 08:26
72F：→ newwu : 可能只有部分用到gpt的生成，例如起头或收尾 01/30 08:26
73F：推 lusifa2007 : 你自己说更多企业能够自行建置自家的AI 又说硬体 01/30 08:29
74F：→ lusifa2007 : 需求会减少？ 供三小 01/30 08:29
因为算力需求等级不同啊 小模型专精领域+RL不需要那麽多硬体
那个是等比级数的差异
75F：推 wayne0530 : 台湾很多人没在思考的 01/30 08:29
76F：推 IanLi : 推，进步的人去学习理解，而不是降阶成意识政治战 01/30 08:30
77F：→ IanLi : 争 01/30 08:30
78F：推 rebel : 帮推 程式码都开源了 不尝试去验证它 找投资机会 01/30 08:31
79F：→ rebel : 整天在那边中国一定是假的 这样会赚钱吗 01/30 08:31
80F：推 icecoldcola : 因为台湾就只剩下意识形态了 01/30 08:33
81F：→ demintree : R1应该是MoE版的V3，并不是V3 distallation 01/30 08:34
82F：→ zzahoward : 但V3其实一堆开源都做得到了 V3非常不怎样 01/30 08:35
83F：→ newwu : 在这种算法开放的环境里，算法重要厉害但不值钱， 01/30 08:36
84F：→ newwu : 除非你直接屌打，抢走所有市占，因为大家都高手，几 01/30 08:36
85F：→ newwu : 个礼拜内就能把你算法抄走了，倒头来拼最强还是要 01/30 08:36
86F：→ newwu : 拼算力 01/30 08:36
87F：推 rebel : 这又不冲突 算力需求的减少 导致大公司不需要再买 01/30 08:36
88F：→ rebel : 那麽多晶片 但成本下降也让中小公司可以进入 一个 01/30 08:36
89F：→ rebel : 加项 一个减项 谁比较多就看判断 我跟原po都是认为 01/30 08:36
90F：→ rebel : 减项更大点 但不是一个因素永远只会影响一个方向好 01/30 08:37
91F：→ rebel : 吗 思考别太狭窄 01/30 08:37
因为不是每间公司都需要超高算力去瞬间得到结果
小模型的service provider会蓬勃成长是真的
92F：→ demintree : 程式码没有开源啊，有的话连结给一下 01/30 08:37
93F：→ demintree : 只有model和inference的放出来 01/30 08:37
94F：→ newwu : 还有资料 01/30 08:37
95F：推 ttsieg : 能帮助我的工作就是好工具 01/30 08:38
96F：推 damn1120 : 还好还有正常人 但你讲这麽多 井蛙还是只会呱呱 01/30 08:41
97F：推 ksjr : github有人在试着重建阿d大可以去帮忙 01/30 08:41
98F：→ demintree : 那就不是他开源啊，你在讲啥? 01/30 08:42
多数讨论是V3是GPT distillation而不是R1吧，但V3是什麽大家关注的焦点吗?XDDD
99F：推 gn02118620 : Hugging face已经宣布要复现DeepSeek了 急啥 01/30 08:42
100F：→ demintree : 程式码开源=有程式码可以检视他怎麽做的 01/30 08:44
101F：→ demintree : 上面只有model和inference的code 01/30 08:44
102F：→ demintree : 还有一些paper解释他的想法 01/30 08:45
103F：→ demintree : 用来复现的repo连结可以给一下吗? 01/30 08:45
104F：推 ksjr : 讲开源的又不是我== 难怪老马要告openai 01/30 08:46
105F：→ ksjr : 上面推文自己找 不然你可以问ai阿 01/30 08:47
106F：推 sora0115 : 推个 01/30 08:47
108F：推 eric112 : 股板拼的是真金白银真的没必要在那边搞意识形态， 01/30 08:48
109F：→ eric112 : 真金白银不会骗人也是这个世界的准则之一，意识形 01/30 08:48
110F：→ eric112 : 态大部分都是各方利益角逐之下的产物 01/30 08:48
111F：→ demintree : 上面没有任何一个推文有复现或是开源的连结啊 01/30 08:48
112F：推 CCNCCN : 整天讲开源，结果什麽也没给 01/30 08:51
113F：推 gn02118620 : 我不是贴了吗？ 01/30 08:51
115F：→ gn02118620 : 你是来恶搞的吧 01/30 08:52
这算是民间复刻不算开源XD
开源应该是官方直接打包丢出来
117F：推 frankexs : 一堆乡民只会搞意识形态 01/30 08:55
118F：推 dmmboy : 青鸟和民进党不喜欢这篇文章 01/30 08:56
119F：嘘 jin49518124 : 最好笑的是那些吹前面线部长的，真的丢人现眼 01/30 08:57
120F：推 gn02118620 : 对啊 demin不是要问复现的连结吗 01/30 08:58
他是要官方自行放出的开源，这种复刻确实不算是开源啦
但Method有公开其实算不错了
121F：推 Galm : 刚好这事件可以让人更看清，台湾媒体的本质水准有多 01/30 09:01
122F：→ Galm : 低劣 01/30 09:01
123F：推 poeoe : 这个就是在专业领域方面有优势 01/30 09:01
124F：推 BIGETC : 既然人力物力不多 台湾应该讨论的是赶快跟上 01/30 09:02
125F：→ BIGETC : 用不多 01/30 09:02
没错，其实我想表达的在这边
结果大家居然在讨论不能问"台湾"问"64"，或会不会被中国盗帐号.....有点可笑
126F：→ newwu : 这种模型训练project 不太可能完全开源，完全开源连 01/30 09:02
127F：→ newwu : 资料都要丢给大家耶 01/30 09:02
128F：→ poeoe : 很适合企业针对自身专业布建AI环境 01/30 09:03
129F：推 icome : 反正扯到中国有人就会失智 01/30 09:03
130F：推 gn02118620 : 跟台湾媒体没有一定的关系 台湾媒体的做法是完全接 01/30 09:03
131F：→ gn02118620 : 受美西方媒体的说法 然後删除对中国或中国产业有利 01/30 09:03
132F：→ gn02118620 : 的部分 放大对中国或中国产业不利的部分 01/30 09:03
我以为PTT都是受过教育的，结果像某W开头的56一直扯一堆有的没有的真的不行
133F：→ newwu : 用他们的做法可以做出差不多的高效率就是不错的验 01/30 09:03
134F：→ newwu : 证了 01/30 09:03
135F：→ linahou : 还有人看短期股价就知道了 笑死 难道不知道市场会被 01/30 09:04
136F：→ linahou : 乳魔影响 错误定价 01/30 09:04
137F：→ gn02118620 : 这个很正常 因为中美两大势力在激烈竞争 你在中国媒 01/30 09:04
138F：→ gn02118620 : 体也常常看到赢麻了 西方慌了之类的小粉红言论 01/30 09:04
139F：→ gn02118620 : 网路时代 每个人都需要对事件核心了解的更透彻 才 01/30 09:05
140F：→ gn02118620 : 能避免被媒体这些工具主导你的行为 01/30 09:05
141F：→ demintree : 刚刚在看上面的连结,原始的dataset是R1自身，看可以 01/30 09:06
142F：→ demintree : 透过distill的方法怎麽提升 01/30 09:06
143F：推 Axwell : 「我以为PTT都是受过教育的」您误会大了吧 01/30 09:09
144F：推 qw99992 : DS会让AI应用公司门槛大幅降低 01/30 09:09
145F：推 gn02118620 : 我在ChatGPT问爱坡斯坦萝莉岛也会被和谐啊 问以色列 01/30 09:10
146F：→ gn02118620 : 是否在加萨种族屠杀人口灭绝他也会政治正确啊 01/30 09:10
147F：→ gn02118620 : 不能在DS问64跟习近平很合理啊 01/30 09:10
148F：推 FGK : 股版比较就事论事，别去政黑版看就好，反正不管怎麽 01/30 09:11
149F：→ FGK : 发展TSM买下去 01/30 09:11
150F：推 gn02118620 : ChatGPT会用逻辑自洽来为以色列在加萨屠杀取得正当 01/30 09:12
151F：→ gn02118620 : 性，DS是直接不回答 但两者本质都是言论审查只是形 01/30 09:12
152F：→ gn02118620 : 式不一样而已 01/30 09:12
153F：推 supisces : 台湾政府控制的媒体就是不能客观报导中国公司的优点 01/30 09:16
154F：→ supisces : 啊 01/30 09:17
155F：→ Mytsb2421 : 台湾绿色网红媒体拼命带风向 01/30 09:17
156F：推 firemothra : 扯到超导体的人 认为Ai都是骗局。他们才会混为一谈 01/30 09:18
157F：→ firemothra : 啦。笑烂 01/30 09:18
158F：推 afrazhao : 推你这篇 01/30 09:22
159F：推 whlinton297 : 政黑网军出蟑螂窝不是都出来洗地的吗？呵呵 01/30 09:24
160F：推 HeiSiaN : 推 推 01/30 09:25
161F：推 oneyear : 没办法，台湾有太多人听到中国就会自动降智，这些人 01/30 09:27
162F：→ oneyear : 应该不太适合投资 01/30 09:27
163F：推 holebro : 要这些网红名嘴看论文太难了 01/30 09:27
164F：→ holebro : 当初看高虹安的论文倒是大家都变电脑高手 笑死人哈 01/30 09:27
165F：→ holebro : 哈哈哈哈哈 01/30 09:27
166F：推 KrisNYC : 学习到了 01/30 09:29
167F：嘘 WindSucker : 这是中国自主研发的 01/30 09:30
168F：推 turndown4wat: 这样meta之後还敢开源模型吗 01/30 09:31
169F：→ zzahoward : 不用看论文阿 你去reddit专版里面讨论风气都很好 01/30 09:34
170F：→ zzahoward : 尤其是技术性的东西 里面很多解释都很中立而且很清 01/30 09:35
171F：→ zzahoward : 楚 01/30 09:35
172F：推 j0987 : 存 01/30 09:37
173F：推 tonylolz : 你是中吹?买A股了吗? 01/30 09:38
174F：→ jyan97 : 台湾这次真的蛮夸张的，论文跟开源都出来了结果讲 01/30 09:39
175F：→ jyan97 : 技术的没几个，一堆阿猫阿狗开吹开嘴 01/30 09:39
176F：推 Axwell : 因为懂技术的没多少人 扯政治比较有收视率 01/30 09:40
177F：嘘 r40491101 : 中国制造，先打问号 01/30 09:41
178F：嘘 nmjkluiop : 最後只会大模型吞小模型 军备竞赛依然持续 01/30 09:44
边际成本问题 太多人不了解CAPEX支出模型了
※ 编辑: zzahoward (1.163.78.138 台湾), 01/30/2025 09:46:21
179F：嘘 r40491101 : Reddit一致好评那是因为你跑去中国人创的community 01/30 09:45
180F：→ r40491101 : ，我在欧洲还没听过有人说deepseek好用，你乾脆去看 01/30 09:45
181F：→ r40491101 : askchinese不是比较快 01/30 09:45
182F：→ zzahoward : 欧洲AI的发展...? 01/30 09:47
183F：→ hen5566 : 欧洲...XD 01/30 09:48
184F：推 Redfeather : 玩技术的还想要跨过中国产出的资讯我只能说你很勇 01/30 09:49
185F：→ r40491101 : 便宜是便宜，但效能就是只针对特定资料集测，实验室 01/30 09:49
186F：→ r40491101 : 内时速180，实验室外直接翻车，这个就是中共release 01/30 09:49
187F：→ r40491101 : 出来骗数据的，已经report会用个人资料外漏风险 01/30 09:49
188F：推 rivual : 我体感用起来怎麽是R1比较罗嗦，但我喜欢它完整分享 01/30 09:49
189F：→ rivual : 推理过程 01/30 09:49
190F：推 yesyesyesyes: 难得看到股版有水准的文章，一堆不是搞ai 的人在那 01/30 09:50
191F：→ yesyesyesyes: 边乱扯就无言 01/30 09:50
192F：→ r40491101 : 你去看reddit就是欧洲，美国也该去看X 01/30 09:50
193F：→ Rattlesnake : 主要是要看他的primary model 怎麽来的 它更像加 01/30 09:53
194F：→ Rattlesnake : 个前置後置 先对prompt处理 再丢到基础模型 产 01/30 09:53
195F：→ Rattlesnake : 出後再处理一遍 这个外加模型成本自然小 重点是 01/30 09:53
196F：→ Rattlesnake : 基础模型产生的过程 01/30 09:53
197F：推 Aliensoul : 在台湾只要会操作意识型态就可以赚钱了 01/30 09:54
198F：→ newwu : 怕资料被中国看就下载小版本本地run啊 01/30 09:54
199F：→ newwu : Project digits才3000块耶 01/30 09:54
200F：→ Rattlesnake : gpt4是不如它 got现在要拿o1跟它比才能压制 01/30 09:57
201F：嘘 kadolong : 所以咧?? 不就一样的东西 01/30 10:03
202F：推 G8AJ : 党还是觉得点面线比较强 党的信徒深信不疑 01/30 10:10
203F：推 gbman : 青鸟:没有台湾价值CC 01/30 10:10
204F：推 icexfox : 推推 01/30 10:14
205F：推 void06 : 青鸟表示 肯定中国就是中共代理人 01/30 10:16
206F：→ c928 : 自己人没事儿 01/30 10:20
207F：推 hank121314 : 推 01/30 10:25
208F：→ a9564208 : 现实就是查公司内部资料库的AI不用回答摩铁怎麽订( 01/30 10:26
209F：→ a9564208 : 还是其实有需要？) 01/30 10:26
210F：嘘 aac219oo : 这消息早就不是新东西了 llm刚出来的时候就一堆码 01/30 10:27
211F：→ aac219oo : 农在分析生成方式 只有87台湾人还在自己的小圈圈自 01/30 10:27
212F：→ aac219oo : 嗨 01/30 10:27
213F：推 qscNERO : 推 01/30 10:28
214F：推 evankkk4816 : 推 01/30 10:29
215F：推 anaydh : 推这篇 01/30 10:30
216F：推 ImMACACO : 推 01/30 10:32
217F：推 hahaxd78 : 推 01/30 10:33
218F：推 Carloslin : 推 但是文组青鸟会视而不见 01/30 10:42
219F：推 cool9203 : 谁还在讲欧洲llm的发展，都已经拿法规砸烂所有llm 01/30 10:43
220F：→ cool9203 : 了，何来的发展，笑死 01/30 10:43
221F：推 william45682: 理性思考 01/30 10:48
222F：推 joke3547 : 推一个，真心建议政治厨别再影响台湾学术界了 01/30 10:48
223F：→ howardyeh : 我反而觉得AI股价不准，因为想上车的人太多了，搞下 01/30 10:50
224F：→ howardyeh : 来才好进场 01/30 10:50
225F：推 Syoshinsya : 瞎扯是牠们的工作，不过「我以为PTT都是受过教育的 01/30 10:54
226F：→ Syoshinsya : 」，这个真的是天大的误会 XDDD 01/30 10:54
227F：→ bnn : 毕竟政府忙着花你税金造谣啊 01/30 10:54
228F：→ saisai34 : 意识形态是可以选择性降低智商的 @@a 01/30 10:55
229F：推 sid3 : 政确不需要智商 我唐凤世界第一 01/30 11:19
230F：推 mlda888 : 推个 01/30 11:25
231F：推 lorhokok : 推 01/30 11:25
232F：推 rkilo : 推清醒的人 01/30 11:37
233F：推 kuso198610 : 那些说去看reddit的是看哪版 我目前在几个AI相关 01/30 11:39
234F：推 kentano : 看来至少Openai被破解了 01/30 11:39
235F：→ kuso198610 : 都是对DS的言论审查反感 但赞赏它的开源,对於OpenAI 01/30 11:40
236F：→ kuso198610 : 大多都是在酸Y 01/30 11:41
237F：推 CaTkinGG : 人家开源技术回馈给全世界 却用意识形态看有点可惜 01/30 11:42
238F：推 kentano : 居然有学生说没有原始程式码不是开源 01/30 11:52
239F：→ kentano : 服了 几百万镁的案子还要把原始码交出来吗 01/30 11:53
240F：推 kuso198610 : 我是不知道为啥一票台湾人把OpenAI当神拜 01/30 11:53
241F：→ kuso198610 : 他们是很大没错啦 但在这个领域争议也是很多捏 01/30 11:54
242F：→ demintree : 没有要交出来，而是你不开放程式码不叫做开源啊 01/30 11:55
243F：→ demintree : 人家根本没有开源码，一堆人不懂还帮乱吹 01/30 11:56
244F：推 Greefacy : 推 01/30 12:12
245F：推 small314 : 蓝白粉自己先造谣一条龙又怪青鸟网军上车喔？？逻辑 01/30 12:20
246F：→ small314 : ？ 01/30 12:20
247F：嘘 cdcardabc : 一堆中吹借题发挥贬低台湾跟美国啊 01/30 12:25
248F：推 cheng399 : 有推文颇呵 笑死 01/30 12:27
249F：推 jecint1707 : 专业推 尤其又有图表 看的真舒服 01/30 12:31
250F：推 sowulo : 台湾这几天真的好多无用的资讯 带意识形态瞎吹硬贬 01/30 12:32
251F：→ sowulo : 的太多了 想找专业的还是看国外的文章吧 01/30 12:32
252F：推 Brioni : 推你专业训练乡民理解 01/30 12:33
253F：→ sarspieya521: 想赚钱就别带什麽意识形态 01/30 12:35
254F：推 bitcch : 现在inference还要一定成本 更别说training资源不是 01/30 12:37
255F：推 jickey : 某板都说这里吹DS已经被蓝白占领了 01/30 12:37
256F：→ bitcch : 几张家用显卡就能负担 只是让LLM调教门槛下放到一般 01/30 12:37
257F：→ bitcch : 企业 硬体需求依然在而且变大家都能参与甚至会更缺 01/30 12:37
258F：推 SecondRun : 推推 01/30 12:44
259F：→ ocwandu : 人家只是千万别抬头 党这边可是连灯都不要开 01/30 12:45
260F：→ Arashi0731 : 程式本来就这样，只要在合理的范围使用，没有人会重 01/30 12:46
261F：→ Arashi0731 : 新去造轮子，善用现有的资源才对 01/30 12:46
262F：推 ProTrader : 就DS的各种想法 以前很多讨论都有出现过 01/30 12:48
263F：→ ProTrader : 像是大模型=>中模型=>小模型 范围越小精度越高 01/30 12:50
264F：→ ProTrader : 如何用自动标记取代人类标记 则是更久远之前的议题 01/30 12:51
265F：→ ProTrader : 这次该讶异的是 为何会被中国人先推出 01/30 12:51
266F：→ ProTrader : 这对那些大厂中的专业资工人绝对是很自然而然的想法 01/30 12:52
267F：推 artjio : 我这几天看deepseek时，也是一直在思考它的技术跟它 01/30 12:56
268F：→ artjio : 的成果，以及针对一些技术问题过程，它的思维，让我 01/30 12:56
269F：→ artjio : 很赞叹，结果看到新闻跟聊天一堆人在问64、天安门， 01/30 12:56
270F：→ artjio : 我是蛮傻眼的...问那些跟你的日常跟工作有关吗 01/30 12:56
271F：推 artjio : 我偶尔需要跟中国人去沟通，因为公司有 中、越、印 01/30 12:58
272F：→ artjio : ，以前也会看B站的影片，所以知道，你不要去触碰到 01/30 12:58
273F：→ artjio : 那些有的没的，单纯谈工作跟正事就好了，故意要去碰 01/30 12:58
274F：→ artjio : 人家逆麟，你怎麽不去美国喊3K、跟黑人说尼哥 01/30 12:58
275F：→ artjio : 每个地方都有自己禁忌的东西，尊重就好，技术本身就 01/30 12:59
276F：→ artjio : 只是技术，而且还开源，就可以验证。 01/30 12:59
277F：推 ms07b3 : 所以楼上到底在供三小，先紮稻草人喔 01/30 13:08
278F：推 kuso198610 : 有一说一 deepseek手机版式的审查是真的夸张啊 01/30 13:12
279F：推 vicklin : 现在看到一个比较有意义的担忧是成本降低要小心 01/30 13:13
280F：→ vicklin : AI落到犯罪组织手里会不会带来什麽风险 01/30 13:13
281F：→ vicklin : 不过感觉时间线放长这也不太可避 01/30 13:14
282F：推 ctwt : 推 01/30 13:17
283F：→ WarIII : 当你拿真金白银来进场 选择未来布局 什麽意识形态 01/30 13:23
284F：→ WarIII : 都是假的 看清局势才能进退自如 01/30 13:23
285F：推 MumiPyonPyon: GRPO根本不是这篇吧== 01/30 13:26
286F：推 polarfox : 你这样深深伤了台湾某些玻璃的心 01/30 13:27
287F：→ faultless : 台湾就这样，不少人三不五时用政治眼光来讨论 01/30 13:30
288F：→ MumiPyonPyon: GRPO是Group Relative Policy Optimization 01/30 13:30
289F：推 lofiktb : 把问题拆成小步骤并找出一个可行解真的厉害 01/30 13:47
290F：推 tenshou : 钱才是公平的 01/30 13:55
291F：嘘 ohohohya : 因为最一开始吹的就是在吹中国啊 01/30 14:26
292F：推 s60324 : 用心给推 01/30 14:29
293F：→ beariscut : 脆鸟会说你不懂 01/30 15:11
294F：推 artjio : 我的言论算起来是扎稻草人吗? 如果是的话，那当我没 01/30 15:14
295F：→ artjio : 说好了，因为我是根据这几天看到的舆论，得到的感想 01/30 15:14
297F：→ artjio : a164-bf146842cc23 去问了一下chat gpt，看来我後面 01/30 15:17
298F：→ artjio : 拿3k跟n-word比喻有失当 01/30 15:17
299F：推 jrbobo : 这篇正解 网军国家队这几天真的很急 01/30 17:16
300F：推 daniel3658 : 脆鸟：有比我们添财少女懂吗? 01/30 17:17
301F：推 Rucca : 因为是中国研发的，如果是米国的就没这些问题 01/30 18:30
302F：推 chiro1982 : 认真推 01/30 19:00
303F：推 loveq4ever : 推 01/30 19:11
304F：推 ganninian : 某族群跟某群动物以为把头埋在土里看不到就没事了 01/30 19:42
305F：→ ganninian : 人家一直在进步 台湾的模型在哪 两百多亿预算做了 01/30 19:42
306F：→ ganninian : 个点面线系统 01/30 19:42
307F：嘘 s1001326 : 操 99辉达 快跳了 01/30 20:32
308F：推 KrisNYC : 爆 01/30 20:38
309F：推 cospergod : 台湾人脑残多 习惯了 01/30 22:00
310F：推 shioyu : 推，分享 01/30 23:40
311F：推 tamynumber1 : 因为让人少赚啊 01/31 09:17
312F：嘘 dodoro1 : 249 05/04 11:26