作者liualt (机器学习)
看板DataScience
标题Re: [问题] logistic regression vs SVM
时间Fri Mar 30 11:54:59 2018
※ 引述《jikett (jikeZ)》之铭言:
: 各位大神前辈好,小弟不才,最近在面试遇到一个有趣的问题,
: 面试官问说data在什麽情况下会用logistic regression,什麽
: 情况下会用SVM?
: 当下有点愣住,若谈boundary的特性,两个都可以透过kernel
: trick转成nonlinear。印象中以前看蛮多例子都会用
: K-fold cross validation做比较,好像没有一个通则说什麽情
: 形下哪一个一定会优於另一个。
: 後来跟一个Phd朋友讨论後,也只得到说logistic regression在
: data seperable情况下,MLE会是无穷大,但在practical中并不
: 常见完全seperable的data?!
: 另外有想到说loss的差异,但其实hinge loss跟logistic regression
: 的loss(sigmoid+cross entropy)似乎也只有微小差异? 且loss的
: 不同似乎也不是面试官想问的data特性?
: 最後只想到multi-class,LR有softmax推广到multi-class,但SVM
: 也可以做1-vs-all SVMs。不晓得各位大神前辈们对於这两者的比较
: 适用於什麽样的data有什麽看法? 先谢谢各位大神前辈!
讨论一般常见的soft-margin svm和L2-regularized logistic regression
两者的解都可以由训练样本的线性组合表示(representer theorem)
但QP求解svm的对偶问题可以得到仅包含support vector的sparse solution
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.237.65.149
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1522382101.A.7FC.html