现在全网路上的开源数据资料是属於pre-training端 大多都是野生数据 无标签 那东西只是让模型去向鹦鹉一样 去做文字接龙 但第二阶段训练会用到RLHF (Reinforcement Learning from Human Feedback) 就是要人类针对不同数据给意见 这个是要给标签 所以你才会听到狗家之前要求全公司员工去给意见让Gemini前身 Bard 去做人类feedback 这个人工成本是很大 Deepseek-R1跟大家说 我们不用人类给的feedback了 我们可以免除这块 大家都在讨论的叫做sythetic dataset 这个步骤是来自於你有许多野生数据 但需要加上标签 那标签可以拿更强大模型来标注 比方说 一道数学题目 你可以用人类写解答 或者要拆步骤 每步骤让gpt-4o写个答案 这就是所谓synthetic dataset 然後用这组数据去调教模型 这步骤会决定 你的模型多智能 这过程就是call api 现在ai界都这样干 缺点就是训练模型上限就是 原始母模型 这跟传统蒸留 用模型直接交模型不太依一样 这种方式就是可以用低成本 接近gpt-4o 但你如果这样干 你模型就不能商业化 顶多发表到文章 讲你这是怎样做 最经典例子就是LLaVA那篇 讲如何用gpt4o 产生sythetic dataset让textLLM 变成多模态 直接打爆其他大厂高成本多模态 之前网路上已经有人在讨论 到底deepseek有没有用api去合成数据 https://reurl.cc/A6ab98 https://x.com/bboczeng/status/1883374489519698413 (zero是r1第一版) 在training这部分还没定案之前 大家就先吃瓜看看吧 @@ 但这思路还是有可取之处 就是模型教模型 不要再用人类RLHF去教模型 https://x.com/op7418/status/1884065603184681162 这有点像回到当年alphago那条路线 模型互相教 下面网址是第三方 大家要复制deep-seek R1开源计画 任何人想参加都可以 https://huggingface.co/blog/open-r1 目前公认是dep-seek R1隐藏了 Replicate the R1-Distill models by distilling a high-quality reasoning dataset from DeepSeek-R1. 上面专案在徵求大家尝试去制造出合成数据 好了 我要去炸薯条了 @@/ 救救我 ※ 引述《IBIZA (温一壶月光作酒)》之铭言： : ※ 引述《mangle (mangle123)》之铭言： : : 比较好奇这段： : : 尽管蒸馏是AI业界常见做法，但DeepSeek若利用蒸馏技术来打造自家模型，并与OpenAI竞 争，将违反OpenAI服务条款，因此产生疑虑。 : : OpenAI的服务，或是「利用输出结果，来开发与OpenAI竞争的模型」。 : : 各个ai 大语言模型不是都会互相参照比较和训练吗？ 我以为这是业界常识… : : 不过要怎麽定义「与openai 竞争的模型」？ 因为deepseek 也没盈利而且也开源学习，他也承认他不只从chatgpt训练也参照不少，deep seek 也认为自己是chatgpt : : 所以是真有盗窃疑虑，还是业界常识的互相学习使用？ 如何定义这部分 : 各家互相参考, 指的是训练方法还有训练的文本挑选, 蒸馏不太一样 : AI = 模型的程式码+训练 : 能开源的部分只有程式码, 训练是看各自调教 : 模型的能力够, 差不多的调教方式就会得到差不多的结果 : 训练方法更好, 或是文本品质越高、越多样、量越多, 模型就越强 : 自从OpenAI爆红以来, 大公司的LLM模型都是遵循OpenAI的训练方法 : 预先训练: 拿大量文本让AI模型学习基本语言能力、基本知识 : 监督微调: 有了基本能力之後, 模型开始有推理能力 : 这时候由人类介入, 告诉模型怎麽想是对的, 怎麽想是错的 : 之前所谓的贴标签, 就是这个阶段 : 奖励建模: 把对错的判断建立模型, AI想对了, 这个模型就奖励他 : 强化学习: AI自己跟自己练习 : 不管是meta还是google, 之前都是照OpenAI这个成功模式做 : 所以这些公司能做的就是拚算力, 透过更大量的训练, 希望最终可以暴力超车 : 但蒸馏就不同, 蒸馏是直接拿另一个模型的推理结果, 让另一个模型照着得到同样结果 : 譬如我要我刚刚问ChatGPT, 要他给举例说明什麽是拟人法 : 他的回答是这样 : https://i.imgur.com/ey5mX61.png : ChatGPT要回答这个问题, 中间要经过很多推理, 譬如他要先理解我的问题 : 这里面就牵涉到, 他要理解我讲的拟人法是修辞当中的拟人法 : 然後再从这一个理解, 去思考拟人法的意思是甚麽, 最後再想出一个符合范例 : 蒸馏的话, 就是学生模型已经预先知道这个问题的答案是甚麽 : 有头有尾, 要生出中间的推理就会比较容易 : 但这里有个问题 : 你要用蒸馏让一个模型得到另一个模型类似的能力 : 通常就是需要老师模型产生极大量的练习後结果 : 才能传授毕生功力给学生模型 : 如果ChatGPT是开源模型, 可以自己部署在自己平台上 : 要做这样大规模训练是有可能 : 但ChatGPT无法部署在自己平台 : (刚刚有人说ChatGPT 2可以, 但蒸馏顶多只能逼近老师, 用ChatGPT 2只能蒸出垃圾) : 所以要做蒸馏只能透过API, 而要透过API做几千万甚至几亿规模的蒸馏训练 : 这难度极高啊.... : (ChatGPT刚刚教我另一个方法 : 就是拿一个原本就有ChatGPT4能力的模型 : 这样只要少量训练, 就能超越ChatGPT 4 : 但原本就有ChatGPT 4能力的新模型难道自己会生出来吗XD : 你还是得先得到这个模型啊...就是V3 : 那V3怎麽来?) --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738171163.A.A6D.html ※ 编辑: LDPC (76.21.72.78 美国), 01/30/2025 01:19:54 ※ 编辑: LDPC (76.21.72.78 美国), 01/30/2025 01:21:13 ※ 编辑: LDPC (76.21.72.78 美国), 01/30/2025 01:41:19 ※ 编辑: LDPC (76.21.72.78 美国), 01/30/2025 01:59:34