唉。 所以邏輯是一個很重要的東西，首先來看以下幾句： 「A是錯的，故B是正確」、「A是錯的，但未來A會更好，故A必定會比B更好」 但實際上令A,B都會有對與錯的結果，那麼總共會有： A 對 錯 對 (+,+) (-,+) B 錯 (+,-) (-,-) 那麼我們再看A,B的相關性，則會變成： (1)高度正相關：(+,+) 和 (-,-) ，A正確，B也正確，反之亦然。 (2)高度負相關：(+,-) 和 (-,+) (3)低度相關：(+,+)和(-,-)，但也會有些 (+,-) 和 (-,+)。A,B可能無關聯。 那這跟時間有關嗎？沒有。 那麼再看提到的幾個概念： 1. 演繹法（Deduction）： 從原則推導出結論。例如，若所有A都是B，且C是A，那麼C也是B。 在貝氏統計中，類似於用宣告的機率來推導後驗概率。 問題： 如果前提本身是錯的，結論也會錯。ex:銅會導電，故金屬會導電。 2. 歸納法（Induction）： 從特定觀察推導出一般原則。例如，觀察到多次A都是B，那麼推論所有A都是B。 在貝氏統計中，類似於使用資料集來統計出現機率，而宣告後驗機率。 問題： 抽樣誤差：因為資料獲取非隨機或不大，導致資料的特徵與實際有誤差。 EX:你看公園的天鵝都白的，推論出天鵝是白的，但黑天鵝光是在澳洲就很多。 只是你沒有花錢去澳洲看過而已。 3. 類比法（Abduction）： 從觀察到的結果推導出可能的原因。例如，觀察到現象X，推論可能的原因Y。 在貝氏統計中，這類似於使用條件機率來推導最可能的原因。 問題：若無相關性，則推論會錯誤。EX:Welles J. Wilder《三角洲理論》 認為太陽地球月球的相對位置，與股價漲跌有關，故可預測未來價格。 那麼你有基本的歸納能力，就會得知：由於貝氏推論跟人類的常用的三種推論法， 具有一定的相似度，可以說邏輯上具有高度相關，故實際上會出現： 人類的推論有錯，那麼貝氏推論也會有錯。反之亦然。 例如你宣告的先驗機率是錯的，那麼實驗結果就會有差異。 你的資料有隨機錯誤，你統計的機率值也會被隨機值影響。 以及資料最終是個別獨立的事件，你卻作為相關性分析，那也會生出低度相關結果。 故為何大型語言模型(LLM)會出現錯誤？ 1. 條件機率誤差 若LLM使用觀測的特徵來做為機率來預測下一個詞或短語，基於當前的上下文。 如果本身觀測的資料不多，就會生成不合理或錯誤的文本。 2. 數據品質 如果數據共有A,B兩種，例如簡體中文與繁體中文。但是產出只能有一種。 例如你不會想看到簡繁混雜，認為這是參雜雜訊的錯誤。 但模型會抓到簡體中文資料，故不可避免會出現不符要求的低品質錯誤。 例如品質會講質量，土豆會講是馬鈴薯。 3. 假設不合理 假設模型依照A,B資料推論出相關性分析，但A,B資料不具高度相關， 那麼給出的答案就不見得具有有效的因果關係。如果模型再依照資料推論， 就會出現下面這點： 4. 先驗概率不準確 引用不準確或基於不充分的機率宣告，當然會生成不合理或錯誤的的結果。 而上述1,2,3,4只要有一個環節錯，那就跟人類解題一樣，計算錯誤會影響 後面的答案是否正確，故你沒有找到錯誤，模型當然會出現錯誤。 模型可不可以弄出糾錯機制，可以。但這前提是你要先建立一個規則。 但如果你一無所知，你怎麼能弄出一個可以糾錯的規則呢？ 這是雞生蛋蛋生雞的問題。故不可避免的，你必須接受模型本身會出現錯誤。 而就像有機率必然會發生，你可以說「台股大跌10%未來機率很小」 但基於此描述之機率很低來論「未來台股大跌機率一定越來越小，Sell put一定贏」 那麼這種未來一定更好，本質上也是屬於文中提到的歸納法推論錯誤。 模型本身就是這樣，有自己做一個規則的模型的人，大多會了解自己模型的侷限性。 所以你會有限度的應用它，但如果作為不了解規則的人，那他就不會理解簡化模型 的極限在哪，而給予錯誤的期待與想像。 蘋果的研究對我來說就只是用漢諾塔再一次說明了這些問題， 在簡單的問題，你加入了推理，如果推理過程出錯，那答案也會出錯。 太複雜的問題，推理過程會更長，如果推理過程出錯，那答案也會出錯。 你給了無關的資料，雜訊的資料也會導致引用至推論而出錯。 特別是漢諾塔它其實已經有最佳解的公式，而且漢諾塔是公開很久的遊戲。 理論上資料集也應該會有此公式可引用來作為演算規則，但為何LLM有推理 也不見得會一直根據此規則來找出最佳解，那就是說明了LLM其實是一個 會自己造輪子找出解。而不是具有能建立可驗證的推理過程。 而基於本文提出的錯誤類別，你會發現人類會出現的推論錯誤。 就算基於貝氏條件機率的推論，也同樣會出錯。故你必須要接受就算加了推理 模型還是會有出錯的可能性，這就是它的極限，你無法避免。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 192.253.210.47 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1750047437.A.B48.html