最近在研究SVM，發覺好多人寫的都不一樣，在此簡述一下我的問題 第一，SVM在藉由Lagrange Multiplier求解時，原始的目的為極大化 margin，這意思同等於極小化normal vector||w||，那我的第一個問題是 在轉成Lagrange Multiplier(此變數以alpha表示之)問題後，L(w,b,alpha)的 最佳化目的是極大化 還是極小化，我手上一本教科書上寫著, L must be minimized with respect to w and b and maximized with respect to non-negative alpha，我一直 以為最佳化的目的為最小化||w||所以轉換Lagrange Multiplier後，亦是將 L(w,b,alpha)最小化 但在如下wikipedia中介紹的Lagrange Multiplier中，最下方的兩個例子， 單純的計算並沒有提到目前是要最小化或是最大化，而是直接計算出微分為0 的點，然侯代入f(x,y)才得以分辨出各點對應的函數值為極大值或極小值 所以我目前自已的想法是認為Lagrange Multiplier基本上是一種求極值的方法 但用在SVM後由於是要最小化||w||，所以求出的解是用於最小化，請問大家覺得 呢? 第二個問題在於也是前面的那一句話，為什麼必須以非負數的alpha來極大化L呢? 至少在wikipedia的例子中，最後求出來的極大值對應的alpha是負的，極小值對應的是 正的，就我所能理解其中的差異大概就是SVM與wikipedia中的最佳化方程式不同， 拘束條件也不同所以造成這種情型，可以這樣解釋嗎? 以上兩個問題都是我想破頭也想不出來的，而且說實話我看過不少論文，有人寫 SVM轉為Lagrange Multiplier後的L是最小化，有人更將前面這句 L must be minimized with respect to w and b and maximized with respect to non-negative alpha解釋成w與b必須被極小化，alpha必須被極大化。 我看了那麼多篇都快被搞迷糊了，有沒人可以告訴我alpha必須為非負數到底是 為什麼呢?雖然不瞭解這種道理也可使用SVM套裝軟體，但是我還是很想知道為什麼 在此麻煩大家幫幫我!! http://en.wikipedia.org/wiki/Lagrange_multiplier --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.96.39.137