作者sxy67230 (charlesgg)
看板Gossiping
标题Re: [爆卦] Claude抄袭中国AI
时间Thu Jul 23 10:24:00 2026
饿死抬头，阿肥外商码农阿肥啦！
刚好今天早上有空就说一下，其实蒸馏就是美国一堆矽谷公司老板为了尽可能垄断市场的话
术。
如果真的在机器学习领域内，从数学上不管SFT (监督微调）、RL (强化学习）、KD (知识
蒸馏）本质上都是同一件事，目标就是分布逼近。手段有用Forward KL、Reversed KL，For
ward KL白话说就是填鸭式学习让模型死记目标数据，Reversed KL则是由模型自己演出目标
数据仅担任指导的角色告诉他们哪里有错。
Forward KL的代表范式就是SFT、经典的知识蒸馏，Reversed KL就是RL跟改良後知识蒸馏，
目标数据可以是人类数据或其他甚至是自己模型本身。如果你理解知识蒸馏的本质就知道用
抄袭来说嘴蒸馏是没什麽意义不现实的事情，蒸馏其实本质跟经典的机器学习理论一样就是
压缩数据到模型的高维分布中，跟人类的学习模式没什麽区别，只是机器的学习方式没人类
高效而已。
再来就是所谓的蒸馏有分为白盒的软式蒸馏跟黑盒的硬式蒸馏，所谓的白盒蒸馏通常数据效
率比黑盒要高，但他有一个前提是当前模型要能看到目标模型实际上的输出分布也就是要知
道目标模型是怎麽思考的，这个如果是商业闭源模型想要调用根本不可能。
至於黑盒的硬式蒸馏要成功蒸馏商业闭源模型必须要有一个前提就是你要能够大量打对方的
API到瘫痪的等级去取得海量数据，从数学上来说就是无穷采样逼近母体才有可能蒸出来，
不然妄想几个点就可以画出完整曲面就是完全没常识的人才会觉得可行。黑盒蒸馏少量数据
基本上是蒸馏不出通用性跟泛化能力，顶多补齐模型在某些狭窄领域的知识跟讲话风格而已
，而且前提是这颗模型本身就已经足够强，就是在狭窄领域没那麽好（分布上有缺一点东西
），这时候补齐几个点可以逼近人类领域知识才是正常的。
所以这边就带出一个Claude可能的回力镖就是当前英文模型对中文窄领域的缺失知识，有一
种可能就是他们拿了千问去当老师，然後在某些场合Claude唤醒了千问作为教师的指令就回
应了他是千问。
有人可能会说当老师算蒸馏吗？但从第一段回覆就说了数学上其实不管是SFT、RL或是KD在
目标函数上其实都是一模一样的，数学上就能证明他是等价的东西。记住，人类可能会出於
意识形态骗人睁眼说瞎话（尤其是笨鸟），但数学不会，不会就是不会。
以上
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.216.45.181 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Gossiping/M.1784773442.A.D01.html
1F：推 jeffguoft: 太专业了 49.159.77.106 07/23 10:31
2F：→ sheng612: AI本质就是海量数据求最佳解 223.137.38.77 07/23 10:32
3F：→ potionx: 利益不等价~ 118.166.79.209 07/23 10:33
4F：推 ME13: 数学 211.75.180.96 07/23 10:34
5F：推 StylishTrade: 就像一个笨蛋 看了很多大师作品111.250.150.207 07/23 10:34
6F：→ StylishTrade: 就会变聪明吗XDDDDDDDDDDDDDDDDDD111.250.150.207 07/23 10:35
7F：→ StylishTrade: 如果他的模型很烂 看再多也没用111.250.150.207 07/23 10:36
8F：推 cc1plus: 没错就是这样, 大家都在干, 只是美国人 36.228.14.50 07/23 10:36
9F：→ cc1plus: 干了还在指责别人 36.228.14.50 07/23 10:36
10F：→ cc1plus: 不过如果要中文语意的东西还是左岸好一点 36.228.14.50 07/23 10:36
11F：→ cc1plus: 前几年左岸的都是英文语系的较多 36.228.14.50 07/23 10:37
12F：→ cc1plus: 这几年中文能力提升非常多 36.228.14.50 07/23 10:37
13F：推 lianpig5566: 没办法 对岸人口就是多 有自己训练东 203.73.209.179 07/23 10:40
14F：→ lianpig5566: 西的就知道台湾资料集少到靠北 203.73.209.179 07/23 10:40
15F：推 kusomanfcu: 你讲的就是蒸馏 27.242.66.200 07/23 12:07
16F：推 baan: 笨鸟跟小粉红一样 没脑 118.231.152.45 07/23 12:26
17F：推 liu02112: 几个点没机率要打出整个机率分配根本就116.241.217.246 07/23 12:33
18F：→ liu02112: 是不可能的任务 但我碰到的一堆鸟跟丧屍116.241.217.246 07/23 12:33
19F：→ liu02112: 一样 满嘴只会讲抄袭蒸馏 我也懒得理这116.241.217.246 07/23 12:33
20F：→ liu02112: 些丧屍了 根本就没有再思考的....116.241.217.246 07/23 12:34
21F：→ ssccg: 重点不是理论，是一样付费用AI产文本，一样 118.163.87.133 07/23 14:24
22F：→ ssccg: 合约写AI产出着作权归客户，那客户拿有产权 118.163.87.133 07/23 14:24
23F：→ ssccg: 的文本拿去喂自家模型，哪边有问题? 118.163.87.133 07/23 14:24
24F：→ ssccg: 美国AI公司一开始直接爬网路资料才是偷窃 118.163.87.133 07/23 14:25
25F：→ ssccg: 蒸馏反而合法合规合理，付钱用资料天经地义 118.163.87.133 07/23 14:26