大語言模型(LLM)它的原始目的是要「模仿人類回答出人類看得懂的答案。」 但跟人類的語言不同，你我使用的與言語表達會是一系列的文字規則， 例如「主詞，動詞，受詞」的SVO結構。 但模型本身並不是這樣學習的，它是把你看到的字，拆成詞素(token) 然後將這些詞向量化，變成一系列數列： king → [0.8, 0.1, 0.3, 0.7] queen → [0.9, 0.1, 0.5, 0.9] man → [0.9, 0.0, 0.3, 0.6] woman → [0.8, 0.0, 0.5, 0.8] 這個數列可以很長，例如有必要的話，可以到有300多個。然後模型可以找到特徵。 這個特徵用人類可以理解例子，就姑且濃縮成一個角度，便為說明就簡化成： king=右上 man=右上 queen=左上 woman=左上 那麼就算是你，也可以找到king跟man都是右上，故似乎有關連性。 而king跟queen角度不同，所以這兩個不是同樣的東西。 再把朕、殿下、皇帝、國王，排在一起。 只要資訊夠多，理論上是可以讓模型自己圈出有向量角度相近的集合。 我們可以再增加這個字出現在字首、字尾、中間第幾個字的頻率作為變數。 那麼就可以算出這個字出現在哪裡的特徵比較大。 這時我們回到剛剛的SVO結構，模型就可以在不懂中文，但憑統計出的特徵， 可以拼湊出一個你可以看懂的中文回答。 然而這並不是人類的理解與語意判定，以及衍伸的推理。 所以它就會造就出「中文房間」的錯覺，例如假設一個外國人被關在房間。 但他有一本教戰手則，上面說明了那些字出現了，可以給出哪些答案。 那他就算不懂中文，在手冊的指引上也可以回答定型文。 大語言模型也是同樣的概念，它是基於大量的資料來找出「特徵」， 而這些特徵的組合在在它的神經網絡會給予特定的權重，最後形成類似"手冊" 的東西，然後依照手冊找到近似值的解答，生成給你看。 但它不見得是理解回答是否有意義，所以才會出現錯誤。 比如說很常見的，現在threads被一堆詐騙仔用AI生成圖片， 例如啥我是護理師給我一個讚好嗎？但裡面的圖片會出現一些錯誤， 例如敘述自己是75年出生，但生成的身分證是57年出生。 或者有生成名字了，但它的字型大小很明顯不一致。 然而對於模型來說，它不會知道"怎麼樣才是對的格式"，而它只是針對 中華民國身分證大概是長怎樣，而隨機生成一個結果。 故單純直接產出，就免不了會有以上的問題。 GPT4-O3它是說有多一個推理功能。然而它的底層還是大語言模型(LLM) 加上它的數據處理是弄成很長串的多維資料，你人類也看不懂， 所以你還是不會知道，它的推理過程，是不是也是模仿生成人類看得懂的邏輯。 但這個算法是否正確與必要，不見得正確。 這個問題在你處理只有你會面對的數學問題就有機會發生。 例如假設你要模型生成一個模型由0至指定最大值，與指定最小值機率遞減， 而機率遞減的分配公式，正常我們人類就是設一個權重來分配。 但我問過O3它就很奇葩，它想用自然常數來分配，然後算式會出現錯誤。 其他你看過的就是GPT跟deepseek下西洋棋，結果deepseek憑空出現棋子， 或者無視規則走奇怪的動作。這些都說明了語言模型並不是真的了解規則， 而只是像兩隻猴子看人類下棋，而模仿人類玩西洋棋。 由於這不是你熟知的建立規則(base rule)，所以在面對複雜的隨機模擬。 它可能做出錯誤的資訊，而你沒有發現錯誤的話，它就會繼續引用上下文 而給出錯誤的結論，但你看起來覺得是對的。 比如說你不會選擇權，但你想要模型直接生成一個賣方與調整策略。 而模型基於call有正的delta，而錯誤認為sell call也有正dela， 那它就會繼續基於錯誤資訊引用，而得出： 當標的價格趨近於SC履約價，整體delta會變正而且增加，故需要買put調整的規則。 當然對我來說我可以看出哪裡有問題，但對於沒有理解的人來說， 那他就不會發現這個推理與建立規則錯誤，就會導致利用而產生虧損。 而這我認為基於大語言模型的訓練方式，本質上是無解。 你只能靠自己判斷模型的回答是否邏輯正確。而不是期望模型像神燈精靈， 你不用會你也可以產出一個東西跟專業的人競爭。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 192.253.210.90 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1750010675.A.954.html