作者CharlieL (心平气和)
看板DataScience
标题Re: [问题] linear regression 的feature选用问题
时间Wed Mar 28 09:48:23 2018
※ 引述《PyTorch (屁眼火炬)》之铭言：
: 如题
: 请教一下
: linear regression的model在feature选用上有可能
: 只用上feature的 x ** 2项 而不用x项效果会更好吗?
: 因为我看宏毅老师的投影片好像都是
: 先用 x , 再加用x ** 2, 再加 x *** 3, ...
: 直到overfitting发生
: 那有可能是只用x ** 2, 而不用x 会效果更好吗?
: 还是说overfitting只会发生在高次方项?
: 因为我想到若x存在负数，那只选用x**2当fearture而不用x也许会比较好?
: 先谢谢各位愿意看完我冗长的问题
比较简单的答案：
有没有可能比较好，有可能。举例来说，如果今天是单变数的模型，
而你想要近似的函数具有「偶函数」的性质，那麽 x**2 的转换也许会
更贴切地运用这个性质，达到更好的表现。
但实务上，有没有人这麽做？我没看到过。也许是因为有很多的做法
(例如把一次转换、二次转换都包含但最後使用 L1-regularization 一类的
稀疏模型)也可以达成类似的效果，也许是因为这个「有可能」的情形并
不那麽多，也许只是因为这样的做法并不符合大部份人的「直觉」。所以
我还真的没看过人这样做的……
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.216.8.103
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1522201705.A.7B5.html
1F：推 PyTorch: 感谢田神，小的也是coursera田神的粉丝，荣幸得田神回文 03/28 10:28
2F：→ PyTorch: 理清我长久的疑惑 03/28 10:30
3F：→ hsnuyi: 这是domain knowledge的问题 而且还取决於领域 做广告投放 03/28 13:40
4F：→ hsnuyi: 赚钱应该确实是不会这样做吧 03/28 13:40
5F：推 Rprogramming: 朝圣田神 03/28 13:59
6F：推 dyadi: 朝圣 03/28 15:24
7F：→ celestialgod: 取log呢，虽然负的需要额外处理，但是感觉这样expon 03/28 17:58
8F：→ celestialgod: ent的问题可以解决 03/28 17:58
9F：推 st1009: 朝圣 03/28 20:08
10F：推 goldflower: 取log basis function的次方不就没意义惹 03/28 21:37
11F：→ tritonight: 推 03/28 21:58
12F：推 Radler: 推 03/28 22:12
13F：推 sunhextfn: 推 03/29 08:32
14F：推 shaform: <(_ _)>!! 03/29 08:38
15F：推 hank292: 朝圣 03/30 01:59