作者sxy67230 (charlesgg)
看板Tech_Job
标题Re: [讨论] OpenAI GPT o1模型
时间Thu Sep 19 08:59:58 2024
阿肥外商码农阿肥啦！
目前技术太多都说得太云里雾里，但是截至目前为止针对o1其实OpenAI透露出来的技术细
节都不如过往得多，像之前GPT-4跟GPT-3.5过往还有完整的文件跟引用可以窥探，所以就
不做过份的臆测了。
以目前的一些文件上有提到的可以确定这次o1使用了CoT这绝对是一个Agent没错（跟过往
的单一模型不一样），所以Response Time也会比过往再调用GPT-4o还要久。所谓的CoT本
质上就是一系列分解步骤，让模型先分解问题再一步一步到最後结果，目前很多研究都发
现针对CoT再进行微调是有用的（
https://arxiv.org/abs/2305.14045 )，所以这种对问
题
拆解迭代算是一种拉高对模型能力上限的方法。
然後目前RL for LLM有很多新的方法，像KTO这类方法将模型去比较两两对话的问题转换
成一个BSO(二元讯号优化）的问题，研究就发现到相比传统的RLHF甚至DPO，KTO的效果能
起到很好的Regularization（正规化）作用，对比DPO有时候还会过拟和、难以收束优化
不易训练等问题，KTO可以让收集数据更简单（只要收集正负样本）而且效果也不差。
另外就是GPT-2 guidance 的方法也算是这几年比较重要的研究，当前包含谷歌 Deepmind
也发现通过不同种类的LLM不论大小其实也都有对主模型起到类蒸馏的效果，结果也是会
比你单做SFT或RLFH还要好，不过如果是同一个模型重复迭代就有很高的机会发生Model C
ollapse 的问题，这可以从统计学上做很好的解释，详细有兴趣的就自己去看Paper。
以当前来说，我不太认为o1对业界有掀起很高的技术壁垒，反而从这次OpenAI一反常态的
保守有可能推测仅是对现有技术的组合拳。这有可能显示单一LLM模型这样训练下逼近上
限的事实（每家模型大厂可能最後表现都不会差异到哪里去）。
以上
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.216.223.33 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1726707601.A.130.html
※ 编辑: sxy67230 (49.216.223.33 台湾), 09/19/2024 09:01:57
1F：推 abc12812 : 你这样讲 感觉AI泡沫就快爆了09/19 09:16
当前还有很多商业应用还可以探索，不至於泡沫就是了，而且很多商业应用是有既定模式
的，所以去讨论AGI有没有意义就多了。
※ 编辑: sxy67230 (49.216.223.33 台湾), 09/19/2024 09:22:39
2F：推 ayianayian : AI软体有了，但是对应的硬体还在孵 09/19 09:25
3F：推 nckuff : 跨某 有没有外行人也能听得懂的讲法 09/19 10:03
4F：→ nckuff : 所以还是跌代逼近吗 那思考一说又从何而来09/19 10:04
5F：→ DrizztMon : AI不会泡沫 但不要过度预估LLM上限 09/19 10:11
6F：→ Izangel : 看Claude多久推出竞品就知道有没有壁垒 09/19 10:36
8F：→ jack529 : 不错了啦 比起4o 智能上提升不少 09/19 13:11
9F：推 OSDim : 怎麽好像每个版都有一个阿肥==09/19 13:47
10F：推 y800122155 : 说穿了o1就是自己做了prompt engineer 的工作，但这 09/19 14:24
11F：→ y800122155 : 并不代表能推论出各家模型最终能力都差不多吧？只能 09/19 14:24
12F：→ y800122155 : 说prompt engineer 跟一般使用者用起来的效果差异会09/19 14:24
13F：→ y800122155 : 变小吧09/19 14:24
刚刚下班才看到，这边的CoT跟你网路上看到的CoT差异很大喔！传统上下step by step那
个是prompt engineer没错，但这次o1的CoT是类似於隐式设计进去先让模型生成多个取样
步骤再像链一样一步一步思考，这也是为什麽当前很多示范都显示出他很慢，也是我为什
麽会说这次的模型绝对是一个Agent而非传统意义上的LLM。单一模型存在上限主要也是从
这次OpenAI没有释出GPT系列以及其他厂家的技术报告推论出来单一LLM逼近上限的事实，
主要可能原因还是在於高品质数据本身就存在上限，要再提升就要靠类蒸馏（Boostrap)
等方法。至於技术壁垒我认为还是不存在的，毕竟这个谷歌Deepmind大厂其实早在年初也
有类似的技术发表出来了，所以我才会说以OpenAI这次反常到不透露细节的作法，很可能
是怕被竞品出现。
14F：推 yutaka28 : 这样假如没甚麽技术壁垒，也只代表普通人技能更....09/19 15:51
※ 编辑: sxy67230 (1.162.76.16 台湾), 09/19/2024 20:00:48
15F：推 strlen : 谷歌的壁垒就是自己啊 看那个生图AI还不敢开放 笑死 09/19 22:49
16F：推 create8 : 干，感谢分享，虽然我看不懂，但我知道 ai 真的比 09/20 12:09
17F：→ create8 : 我强了….. 09/20 12:09
18F：推 aria0520 : o1根本没壁垒 deepmind也提了类似概念 09/20 15:53
19F：→ aria0520 : 老实说AI研发能力我还是看好谷歌 09/20 15:54
20F：→ aria0520 : scale on infer不是本质上的prompt engineer 09/20 15:54
21F：→ aria0520 : 在训练时就内嵌在token间cot了 09/20 15:54
22F：→ aria0520 : 但现在各巨头都已经在搞这个 openai见不妙先占高地 09/20 15:55