苹果要让AI变强当然是难 不然siri早变强了 苹果要找AI毛病当然是容易的多 其实改进AI的人也常常发现各种毛病 只是不一定会针对毛病作为研究成果发表 发表侧重点不一样罢了 如引文 LLM大致就是对海量资料几何意义上的理解啊 文内说人类逻辑思考 是指 Deduction/Induction/Abduction 吗?? 那这类东西先天更接近代数上的东西哇 不过广义上的 Deduction/Induction/Abduction 也是带有机率的 参见 Bayesian statistics 很难说LLM最终掌握不了 Bayesian statistics 吧 一点想法 ※ 引述《midas82539 (喵)》之铭言： : 大语言模型(LLM)它的原始目的是要「模仿人类回答出人类看得懂的答案。」 : 但跟人类的语言不同，你我使用的与言语表达会是一系列的文字规则， : 例如「主词，动词，受词」的SVO结构。 : 但模型本身并不是这样学习的，它是把你看到的字，拆成词素(token) : 然後将这些词向量化，变成一系列数列： : king → [0.8, 0.1, 0.3, 0.7] : queen → [0.9, 0.1, 0.5, 0.9] : man → [0.9, 0.0, 0.3, 0.6] : woman → [0.8, 0.0, 0.5, 0.8] : 这个数列可以很长，例如有必要的话，可以到有300多个。然後模型可以找到特徵。 : 这个特徵用人类可以理解例子，就姑且浓缩成一个角度，便为说明就简化成： : king=右上 man=右上 : queen=左上 woman=左上 : 那麽就算是你，也可以找到king跟man都是右上，故似乎有关连性。 : 而king跟queen角度不同，所以这两个不是同样的东西。 : 再把朕、殿下、皇帝、国王，排在一起。 : 只要资讯够多，理论上是可以让模型自己圈出有向量角度相近的集合。 : 我们可以再增加这个字出现在字首、字尾、中间第几个字的频率作为变数。 : 那麽就可以算出这个字出现在哪里的特徵比较大。 : 这时我们回到刚刚的SVO结构，模型就可以在不懂中文，但凭统计出的特徵， : 可以拼凑出一个你可以看懂的中文回答。 : 然而这并不是人类的理解与语意判定，以及衍伸的推理。 : 所以它就会造就出「中文房间」的错觉，例如假设一个外国人被关在房间。 : 但他有一本教战手则，上面说明了那些字出现了，可以给出哪些答案。 : 那他就算不懂中文，在手册的指引上也可以回答定型文。 : 大语言模型也是同样的概念，它是基於大量的资料来找出「特徵」， : 而这些特徵的组合在在它的神经网络会给予特定的权重，最後形成类似"手册" : 的东西，然後依照手册找到近似值的解答，生成给你看。 : 但它不见得是理解回答是否有意义，所以才会出现错误。 : 比如说很常见的，现在threads被一堆诈骗仔用AI生成图片， : 例如啥我是护理师给我一个赞好吗？但里面的图片会出现一些错误， : 例如叙述自己是75年出生，但生成的身分证是57年出生。 : 或者有生成名字了，但它的字型大小很明显不一致。 : 然而对於模型来说，它不会知道"怎麽样才是对的格式"，而它只是针对 : 中华民国身分证大概是长怎样，而随机生成一个结果。 : 故单纯直接产出，就免不了会有以上的问题。 : GPT4-O3它是说有多一个推理功能。然而它的底层还是大语言模型(LLM) : 加上它的数据处理是弄成很长串的多维资料，你人类也看不懂， : 所以你还是不会知道，它的推理过程，是不是也是模仿生成人类看得懂的逻辑。 : 但这个算法是否正确与必要，不见得正确。 : 这个问题在你处理只有你会面对的数学问题就有机会发生。 : 例如假设你要模型生成一个模型由0至指定最大值，与指定最小值机率递减， : 而机率递减的分配公式，正常我们人类就是设一个权重来分配。 : 但我问过O3它就很奇葩，它想用自然常数来分配，然後算式会出现错误。 : 其他你看过的就是GPT跟deepseek下西洋棋，结果deepseek凭空出现棋子， : 或者无视规则走奇怪的动作。这些都说明了语言模型并不是真的了解规则， : 而只是像两只猴子看人类下棋，而模仿人类玩西洋棋。 : 由於这不是你熟知的建立规则(base rule)，所以在面对复杂的随机模拟。 : 它可能做出错误的资讯，而你没有发现错误的话，它就会继续引用上下文 : 而给出错误的结论，但你看起来觉得是对的。 : 比如说你不会选择权，但你想要模型直接生成一个卖方与调整策略。 : 而模型基於call有正的delta，而错误认为sell call也有正dela， : 那它就会继续基於错误资讯引用，而得出： : 当标的价格趋近於SC履约价，整体delta会变正而且增加，故需要买put调整的规则。 : 当然对我来说我可以看出哪里有问题，但对於没有理解的人来说， : 那他就不会发现这个推理与建立规则错误，就会导致利用而产生亏损。 : 而这我认为基於大语言模型的训练方式，本质上是无解。 : 你只能靠自己判断模型的回答是否逻辑正确。而不是期望模型像神灯精灵， : 你不用会你也可以产出一个东西跟专业的人竞争。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 99.36.164.58 (美国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1750040377.A.DDF.html