唉。 所以逻辑是一个很重要的东西，首先来看以下几句： 「A是错的，故B是正确」、「A是错的，但未来A会更好，故A必定会比B更好」 但实际上令A,B都会有对与错的结果，那麽总共会有： A 对 错 对 (+,+) (-,+) B 错 (+,-) (-,-) 那麽我们再看A,B的相关性，则会变成： (1)高度正相关：(+,+) 和 (-,-) ，A正确，B也正确，反之亦然。 (2)高度负相关：(+,-) 和 (-,+) (3)低度相关：(+,+)和(-,-)，但也会有些 (+,-) 和 (-,+)。A,B可能无关联。 那这跟时间有关吗？没有。 那麽再看提到的几个概念： 1. 演绎法（Deduction）： 从原则推导出结论。例如，若所有A都是B，且C是A，那麽C也是B。 在贝氏统计中，类似於用宣告的机率来推导後验概率。 问题： 如果前提本身是错的，结论也会错。ex:铜会导电，故金属会导电。 2. 归纳法（Induction）： 从特定观察推导出一般原则。例如，观察到多次A都是B，那麽推论所有A都是B。 在贝氏统计中，类似於使用资料集来统计出现机率，而宣告後验机率。 问题： 抽样误差：因为资料获取非随机或不大，导致资料的特徵与实际有误差。 EX:你看公园的天鹅都白的，推论出天鹅是白的，但黑天鹅光是在澳洲就很多。 只是你没有花钱去澳洲看过而已。 3. 类比法（Abduction）： 从观察到的结果推导出可能的原因。例如，观察到现象X，推论可能的原因Y。 在贝氏统计中，这类似於使用条件机率来推导最可能的原因。 问题：若无相关性，则推论会错误。EX:Welles J. Wilder《三角洲理论》 认为太阳地球月球的相对位置，与股价涨跌有关，故可预测未来价格。 那麽你有基本的归纳能力，就会得知：由於贝氏推论跟人类的常用的三种推论法， 具有一定的相似度，可以说逻辑上具有高度相关，故实际上会出现： 人类的推论有错，那麽贝氏推论也会有错。反之亦然。 例如你宣告的先验机率是错的，那麽实验结果就会有差异。 你的资料有随机错误，你统计的机率值也会被随机值影响。 以及资料最终是个别独立的事件，你却作为相关性分析，那也会生出低度相关结果。 故为何大型语言模型(LLM)会出现错误？ 1. 条件机率误差 若LLM使用观测的特徵来做为机率来预测下一个词或短语，基於当前的上下文。 如果本身观测的资料不多，就会生成不合理或错误的文本。 2. 数据品质 如果数据共有A,B两种，例如简体中文与繁体中文。但是产出只能有一种。 例如你不会想看到简繁混杂，认为这是参杂杂讯的错误。 但模型会抓到简体中文资料，故不可避免会出现不符要求的低品质错误。 例如品质会讲质量，土豆会讲是马铃薯。 3. 假设不合理 假设模型依照A,B资料推论出相关性分析，但A,B资料不具高度相关， 那麽给出的答案就不见得具有有效的因果关系。如果模型再依照资料推论， 就会出现下面这点： 4. 先验概率不准确 引用不准确或基於不充分的机率宣告，当然会生成不合理或错误的的结果。 而上述1,2,3,4只要有一个环节错，那就跟人类解题一样，计算错误会影响 後面的答案是否正确，故你没有找到错误，模型当然会出现错误。 模型可不可以弄出纠错机制，可以。但这前提是你要先建立一个规则。 但如果你一无所知，你怎麽能弄出一个可以纠错的规则呢？ 这是鸡生蛋蛋生鸡的问题。故不可避免的，你必须接受模型本身会出现错误。 而就像有机率必然会发生，你可以说「台股大跌10%未来机率很小」 但基於此描述之机率很低来论「未来台股大跌机率一定越来越小，Sell put一定赢」 那麽这种未来一定更好，本质上也是属於文中提到的归纳法推论错误。 模型本身就是这样，有自己做一个规则的模型的人，大多会了解自己模型的局限性。 所以你会有限度的应用它，但如果作为不了解规则的人，那他就不会理解简化模型 的极限在哪，而给予错误的期待与想像。 苹果的研究对我来说就只是用汉诺塔再一次说明了这些问题， 在简单的问题，你加入了推理，如果推理过程出错，那答案也会出错。 太复杂的问题，推理过程会更长，如果推理过程出错，那答案也会出错。 你给了无关的资料，杂讯的资料也会导致引用至推论而出错。 特别是汉诺塔它其实已经有最佳解的公式，而且汉诺塔是公开很久的游戏。 理论上资料集也应该会有此公式可引用来作为演算规则，但为何LLM有推理 也不见得会一直根据此规则来找出最佳解，那就是说明了LLM其实是一个 会自己造轮子找出解。而不是具有能建立可验证的推理过程。 而基於本文提出的错误类别，你会发现人类会出现的推论错误。 就算基於贝氏条件机率的推论，也同样会出错。故你必须要接受就算加了推理 模型还是会有出错的可能性，这就是它的极限，你无法避免。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 192.253.210.47 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1750047437.A.B48.html