蘋果要讓AI變強當然是難 不然siri早變強了 蘋果要找AI毛病當然是容易的多 其實改進AI的人也常常發現各種毛病 只是不一定會針對毛病作為研究成果發表 發表側重點不一樣罷了 如引文 LLM大致就是對海量資料幾何意義上的理解啊 文內說人類邏輯思考 是指 Deduction/Induction/Abduction 嗎?? 那這類東西先天更接近代數上的東西哇 不過廣義上的 Deduction/Induction/Abduction 也是帶有機率的 參見 Bayesian statistics 很難說LLM最終掌握不了 Bayesian statistics 吧 一點想法 ※ 引述《midas82539 (喵)》之銘言： : 大語言模型(LLM)它的原始目的是要「模仿人類回答出人類看得懂的答案。」 : 但跟人類的語言不同，你我使用的與言語表達會是一系列的文字規則， : 例如「主詞，動詞，受詞」的SVO結構。 : 但模型本身並不是這樣學習的，它是把你看到的字，拆成詞素(token) : 然後將這些詞向量化，變成一系列數列： : king → [0.8, 0.1, 0.3, 0.7] : queen → [0.9, 0.1, 0.5, 0.9] : man → [0.9, 0.0, 0.3, 0.6] : woman → [0.8, 0.0, 0.5, 0.8] : 這個數列可以很長，例如有必要的話，可以到有300多個。然後模型可以找到特徵。 : 這個特徵用人類可以理解例子，就姑且濃縮成一個角度，便為說明就簡化成： : king=右上 man=右上 : queen=左上 woman=左上 : 那麼就算是你，也可以找到king跟man都是右上，故似乎有關連性。 : 而king跟queen角度不同，所以這兩個不是同樣的東西。 : 再把朕、殿下、皇帝、國王，排在一起。 : 只要資訊夠多，理論上是可以讓模型自己圈出有向量角度相近的集合。 : 我們可以再增加這個字出現在字首、字尾、中間第幾個字的頻率作為變數。 : 那麼就可以算出這個字出現在哪裡的特徵比較大。 : 這時我們回到剛剛的SVO結構，模型就可以在不懂中文，但憑統計出的特徵， : 可以拼湊出一個你可以看懂的中文回答。 : 然而這並不是人類的理解與語意判定，以及衍伸的推理。 : 所以它就會造就出「中文房間」的錯覺，例如假設一個外國人被關在房間。 : 但他有一本教戰手則，上面說明了那些字出現了，可以給出哪些答案。 : 那他就算不懂中文，在手冊的指引上也可以回答定型文。 : 大語言模型也是同樣的概念，它是基於大量的資料來找出「特徵」， : 而這些特徵的組合在在它的神經網絡會給予特定的權重，最後形成類似"手冊" : 的東西，然後依照手冊找到近似值的解答，生成給你看。 : 但它不見得是理解回答是否有意義，所以才會出現錯誤。 : 比如說很常見的，現在threads被一堆詐騙仔用AI生成圖片， : 例如啥我是護理師給我一個讚好嗎？但裡面的圖片會出現一些錯誤， : 例如敘述自己是75年出生，但生成的身分證是57年出生。 : 或者有生成名字了，但它的字型大小很明顯不一致。 : 然而對於模型來說，它不會知道"怎麼樣才是對的格式"，而它只是針對 : 中華民國身分證大概是長怎樣，而隨機生成一個結果。 : 故單純直接產出，就免不了會有以上的問題。 : GPT4-O3它是說有多一個推理功能。然而它的底層還是大語言模型(LLM) : 加上它的數據處理是弄成很長串的多維資料，你人類也看不懂， : 所以你還是不會知道，它的推理過程，是不是也是模仿生成人類看得懂的邏輯。 : 但這個算法是否正確與必要，不見得正確。 : 這個問題在你處理只有你會面對的數學問題就有機會發生。 : 例如假設你要模型生成一個模型由0至指定最大值，與指定最小值機率遞減， : 而機率遞減的分配公式，正常我們人類就是設一個權重來分配。 : 但我問過O3它就很奇葩，它想用自然常數來分配，然後算式會出現錯誤。 : 其他你看過的就是GPT跟deepseek下西洋棋，結果deepseek憑空出現棋子， : 或者無視規則走奇怪的動作。這些都說明了語言模型並不是真的了解規則， : 而只是像兩隻猴子看人類下棋，而模仿人類玩西洋棋。 : 由於這不是你熟知的建立規則(base rule)，所以在面對複雜的隨機模擬。 : 它可能做出錯誤的資訊，而你沒有發現錯誤的話，它就會繼續引用上下文 : 而給出錯誤的結論，但你看起來覺得是對的。 : 比如說你不會選擇權，但你想要模型直接生成一個賣方與調整策略。 : 而模型基於call有正的delta，而錯誤認為sell call也有正dela， : 那它就會繼續基於錯誤資訊引用，而得出： : 當標的價格趨近於SC履約價，整體delta會變正而且增加，故需要買put調整的規則。 : 當然對我來說我可以看出哪裡有問題，但對於沒有理解的人來說， : 那他就不會發現這個推理與建立規則錯誤，就會導致利用而產生虧損。 : 而這我認為基於大語言模型的訓練方式，本質上是無解。 : 你只能靠自己判斷模型的回答是否邏輯正確。而不是期望模型像神燈精靈， : 你不用會你也可以產出一個東西跟專業的人競爭。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.36.164.58 (美國) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1750040377.A.DDF.html