作者peter308 (pete)
看板DataScience
标题Re: [问题] logistic regression vs SVM
时间Thu Dec 13 11:51:29 2018
※ 引述《jikett (jikeZ)》之铭言:
: 各位大神前辈好,小弟不才,最近在面试遇到一个有趣的问题,
: 面试官问说data在什麽情况下会用logistic regression,什麽
: 情况下会用SVM?
: 当下有点愣住,若谈boundary的特性,两个都可以透过kernel
: trick转成nonlinear。印象中以前看蛮多例子都会用
: K-fold cross validation做比较,好像没有一个通则说什麽情
: 形下哪一个一定会优於另一个。
: 後来跟一个Phd朋友讨论後,也只得到说logistic regression在
: data seperable情况下,MLE会是无穷大,但在practical中并不
: 常见完全seperable的data?!
: 另外有想到说loss的差异,但其实hinge loss跟logistic regression
: 的loss(sigmoid+cross entropy)似乎也只有微小差异? 且loss的
: 不同似乎也不是面试官想问的data特性?
: 最後只想到multi-class,LR有softmax推广到multi-class,但SVM
: 也可以做1-vs-all SVMs。不晓得各位大神前辈们对於这两者的比较
: 适用於什麽样的data有什麽看法? 先谢谢各位大神前辈!
你好
我最近在念Python 机器学习 第二版
刚好有看到跟你这个问题相关的内容
在 84页
有这些内容:
逻辑斯回归 与支持向量机的比较
在实际的分类工作中,线性逻辑斯回归与线性支援向量机
常常会产生非常相似的结果。但是逻辑斯回归试图最佳化训练数据集的条件概似,
这会使逻辑斯回归比支援向量机更容易倾向於
离群值。支援向量机主要在意的是
那些非常接近决策边界(支援向量)的那些点。逻辑斯回归有另一个优点是,他是一个简
单的模型,可以更容易的实作。另外,逻辑斯回归模型可以很容易的完成更新处理,
这在处里串流数据的时候,是非常吸引人的优点。
从上述内容 似乎两者差异在於逻辑斯回归会更倾向於
离群值?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.127.233.55
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1544673093.A.B2F.html
※ 编辑: peter308 (140.127.233.55), 12/13/2018 11:53:43
1F:推 championship: 逻辑回归用 最大似然估计 最佳化,因此,容易受到离 12/13 13:42
2F:→ championship: 群值影响。SVM 则是能够利用Trade-off的超参数,降 12/13 13:42
3F:→ championship: 低 loss 的影响,进而减低离群值的影响。 12/13 13:42
4F:→ wrt: FC+L2 loss=SVM? 12/14 12:16
5F:推 tipsofwarren: SVM 容易解释模型 12/14 14:58
6F:推 tipsofwarren: 此外,新增资料时,LR 肯定要重跑,SVM 则不一定 12/14 15:12
7F:推 OnePiecePR: Hinge Function的特性造成 SVM比较能专注在辨析边界 12/21 18:31
8F:→ OnePiecePR: 的样本 12/21 18:31