作者popo14777 (草草)
看板Soft_Job
标题Re: [请益] 机器学习在台湾的出路
时间Mon Aug 28 13:22:43 2017
以前硕士有做过机器学习，用的语言是Matlab(LIBSVM)、Python(scikit-learn)
都是用监督式学习来做预测(y's=实数)，
演算法大多都用SVR、随机森林、回归树、整体式学习等
资料学习的步骤是以下这样子
读取资料→资料前处理→分训练资料和测试资料→选取特徵→建模→预测新资料
→画图或计算指标→分析结果
若预测不好，就返回修改演算法参数，再建模，直到找出最佳模型
看到版上有人说机器学习数学要很强，还要自已写ML演算法
不是都有人写好了吗?直接应用不是吗?
也许是小弟对於ML领域还未深入了解，只是想提出自已的问题
另外，若要往上述内容的工作(资料学习与分析)，需要具备什麽样的专业知识或门槛呢?
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.132.58.80
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1503897766.A.218.html
※ 编辑: popo14777 (220.132.58.80), 08/28/2017 13:27:35
1F：→ hsnuyi: 说一下前处理和选取特徵是如何达成的吧 08/28 13:28
正规化，特徵选取理论则是用逐步回归来选择特徵，应用则是由专家决定特徵
2F：推 dddddd67: 只会用现成的套件，这样很多人都可以快速入门，替代性高 08/28 13:32
3F：推 Jasonnor: 自然是看你走的方向，理论模型和实际应用两者不尽相同， 08/28 13:41
4F：→ Jasonnor: 前者良好的数学基础会让你的模型简洁高效，後者更重视 08/28 13:41
5F：→ Jasonnor: 个人经验（包含模型选用、调参技巧和防止overfitting等 08/28 13:41
6F：→ Jasonnor: ），当然两者兼具的人会更有竞争力，这就看个人规划了 08/28 13:41
7F：推 f496328mm: 修参数不好吧，你不能保证，下次新的data，同样参数还 08/28 13:42
8F：→ f496328mm: 能实用，应该要做feature engineering，从这去下手 08/28 13:42
9F：推 f496328mm: 数学方面，起码要统计，而且你也说回归树了，不懂回归 08/28 13:46
10F：→ f496328mm: 很难做，况且svm还有kernel要选，RF背後也一堆数学，起 08/28 13:46
11F：→ f496328mm: 码要懂，不然参数根本乱调 08/28 13:46
嗯..目前知道c和gamma不能太大，不然会overfitting，以前老板就说用窗格搜寻来
决定最佳参数，也许是研究目的才需要这样?
12F：→ ericrobin: 实际上台湾也没什麽产业需要人创新ML演算法吧 多数精力 08/28 13:49
13F：推 f496328mm: 数学的程度，起码要懂model背後的概念 08/28 13:49
14F：→ ericrobin: 大概都会是在资料清理跟特徵选取 08/28 13:50
15F：推 f496328mm: 创新还是好的，拿XGB举例，paper还没发就超多人用，这 08/28 13:52
16F：→ f496328mm: 就是价值 08/28 13:52
17F：推 f496328mm: 而且不只是数学，这些方法都出来很久了，要靠资工去实 08/28 13:55
18F：→ f496328mm: 作，例如GPU运算，这就是很大的突破，不只是DL，ML也在 08/28 13:55
19F：→ f496328mm: 往这方向走 08/28 13:55
20F：→ hsnuyi: 资料如果是自行取得的 还要懂survey sampling呢 科科 08/28 13:56
21F：→ chter: 套别人的演算法谁都会，但也就没甚麽价值 08/28 13:56
22F：推 justben: 现在是雷声大雨点小的状态，但两三年後不知道 08/28 14:00
23F：→ f496328mm: 两三年? 可是这些国外已经发展超过10年了 08/28 14:08
24F：→ f496328mm: 光是 kaggle 就超过6年了 08/28 14:10
25F：推 senjor: 我觉得重点是在於，台湾业界真的有这种需求吗 www 08/28 14:27
※ 编辑: popo14777 (220.132.58.80), 08/28/2017 14:40:39
※ 编辑: popo14777 (220.132.58.80), 08/28/2017 14:43:23
26F：推 Argos: 所以搞自己的演算法就有价值？你也要看是在哪里搞阿 厂厂 08/28 17:32
27F：→ ericrobin: 调参 模型选择 资料处理之类的看起来没什麽技术 不过在 08/28 18:08
28F：→ ericrobin: 工程上经验上就是价值 许多应用说穿了也没多深奥 08/28 18:09
29F：→ Murasaki0110: 只会这样结果大概是你的model70%别人95%，差别就在 08/28 19:03
30F：→ Murasaki0110: 这 08/28 19:03
31F：推 senjor: 我之前在生状资讯上面大家更在意整体流程跟vector怎麽选 08/28 19:17
32F：→ senjor: Kernel带来的效益反而不是重点，他们更想看见有效的vector 08/28 19:18
33F：→ senjor: 跟资料处理流程怎麽被不同的kernel验证是有效的。 08/28 19:18
34F：→ senjor: 生物资讯 08/28 19:20
35F：→ physheepy: 因为你的资料都被整理好了 其实整理资料才是最难的部分 08/28 19:25
36F：推 Kazimir: feature engineering 的效果远远超过你选什麽模型 08/28 19:35
37F：→ Kazimir: DL相对来说更自动化 不过人工选变数仍然有正面影响 08/28 19:37
38F：推 f496328mm: data cleaning 就苦工最少人做，大家都想做data scient 08/28 19:44
39F：→ f496328mm: ist 08/28 19:44
40F：推 physheepy: data cleaning才是data science的精髓 所谓 garbage in 08/28 19:54
41F：→ physheepy: garbage out 演算法已经满街都是 api简化到阿骂都会用 08/28 19:54
42F：→ physheepy: 市面上可以找到的database 没有一个可直接拿来做应用 08/28 19:55
43F：→ physheepy: 不过如果哪天G社把database都搞定上云端 那大家真的可 08/28 19:56
44F：→ physheepy: 以洗洗睡了 （烟 08/28 19:57
45F：推 f496328mm: 研究所部分，其实台湾学术圈就是这样，跟风骗经费的太 08/28 20:23
46F：→ f496328mm: 多了，原PO可能不是，但太多教授根本不懂就在做计画， 08/28 20:23
47F：→ f496328mm: 反正学术圈做的很烂也没人care 08/28 20:23
48F：→ purpleboy01: 我也是正在用SVR於预测 虽然scikit-learn很方便 08/29 01:37
49F：→ purpleboy01: 但能不能了解SVR的原理然後去改它我想比较重要 08/29 01:38
50F：→ purpleboy01: 这也是很常被老师提醒的部份(不过还没自干出来啦... 08/29 01:38
51F：推 ppc: 玩kaggle的心得是 feature engineering真的很重要 这方面 09/02 18:35
52F：→ ppc: 又没经验 只好在网路上找课程上了 09/02 18:35
53F：推 marksein07: 跟你说 你也听不懂 kaggle打三个月 你的问题就会自然 10/23 18:20
54F：→ marksein07: 找到解答 10/23 18:20