最近在研究SVM，发觉好多人写的都不一样，在此简述一下我的问题 第一，SVM在藉由Lagrange Multiplier求解时，原始的目的为极大化 margin，这意思同等於极小化normal vector||w||，那我的第一个问题是 在转成Lagrange Multiplier(此变数以alpha表示之)问题後，L(w,b,alpha)的 最佳化目的是极大化 还是极小化，我手上一本教科书上写着, L must be minimized with respect to w and b and maximized with respect to non-negative alpha，我一直 以为最佳化的目的为最小化||w||所以转换Lagrange Multiplier後，亦是将 L(w,b,alpha)最小化 但在如下wikipedia中介绍的Lagrange Multiplier中，最下方的两个例子， 单纯的计算并没有提到目前是要最小化或是最大化，而是直接计算出微分为0 的点，然侯代入f(x,y)才得以分辨出各点对应的函数值为极大值或极小值 所以我目前自已的想法是认为Lagrange Multiplier基本上是一种求极值的方法 但用在SVM後由於是要最小化||w||，所以求出的解是用於最小化，请问大家觉得 呢? 第二个问题在於也是前面的那一句话，为什麽必须以非负数的alpha来极大化L呢? 至少在wikipedia的例子中，最後求出来的极大值对应的alpha是负的，极小值对应的是 正的，就我所能理解其中的差异大概就是SVM与wikipedia中的最佳化方程式不同， 拘束条件也不同所以造成这种情型，可以这样解释吗? 以上两个问题都是我想破头也想不出来的，而且说实话我看过不少论文，有人写 SVM转为Lagrange Multiplier後的L是最小化，有人更将前面这句 L must be minimized with respect to w and b and maximized with respect to non-negative alpha解释成w与b必须被极小化，alpha必须被极大化。 我看了那麽多篇都快被搞迷糊了，有没人可以告诉我alpha必须为非负数到底是 为什麽呢?虽然不了解这种道理也可使用SVM套装软体，但是我还是很想知道为什麽 在此麻烦大家帮帮我!! http://en.wikipedia.org/wiki/Lagrange_multiplier --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 140.96.39.137