前面有几篇说，拉一拉就好，连阿骂都会用..... 这也太扯了，就像 excel 、 spss，也是拉一拉就好了， 那写 R、Python 的是??? 写 code 就是有他的强项阿 况且你还要连 SQL ，甚至从 hadoop 捞 data ，阿骂这麽强？？ 就不讲 data cleaning 了 确实目前工具很完善，随便都能做分析，做的很烂而已， 没做 feature engineering 的分析，顶多发硕论混毕业而已 feature engineering 绝对无法使用拖拉介面做出来， 以我做 Kaggle 上的 库存销售预测、购物篮分析、生产线分析 来说 feature engineering 完全不同，这需要一些经验， 特别是，书上都不会教你这些，只能靠实作累积经验 大家都用相同的 model，凭什麽比别人好? 在 Kaggle 上这点就很明显， 你的 feature engineering 怎麽做才是重点， 甚至是做 n-fold 去确保模型稳定，你不是靠运气选到好的 testing data 做 feature selection 找出关键变数，找出哪个制程影响最大、出问题， 再回去修正你的机台 用 ML 分析 data 也只是 data mining 的一小部分， 你要如何视觉化呈现？套件很多没错，那你要如何选择？要如何解释？ 不是分析完就没事了， Kaggle 比较着重在分析，但事前的 data 收集、data cleaning 所花的时间， 是分析的两三倍以上，原始 data 是非常脏的， 不同部门没整合就不用说了，变数命名不同，日期格式不同等等，会弄到崩溃 最後，单就 Kaggle 来说，依然有非常多企业丢出 data，丢出问题要你解决， 特别是目前 ML model 还在进化中， 最近 5 年出现的 XGB 打趴一堆 RF、SVM、GB 等， 同样问题，过去无法商业化，因为模型改进，未来有可能达到商业化的程度 比较可惜的是，台湾真正在做的很少，学校就不用讲了，一堆骗计画的， 不少研究生也说自己做过 ML ，用 SVM ，却连 Kernel 都不知道， 遇到 missing value 怎麽处理? 特别是学校碰到的 data 都只是玩玩罢了，data 小就算了， 有些做二元分类连 imbalance 也不懂 另外国外这方面的职缺还是不少 在 kaggle 提供相关徵才中，就有超过 20 家公司需要这方面的人才 https://www.kaggle.com/jobs 如果你只会拉一拉，调调参数，那不叫做资料科学 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.229.90.122 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1503938180.A.F62.html 感谢 目前 DM 一部分的核心就是 ML ，是有点离题拉 即使单纯写新方法，也并非 google 那些大企业， 拿 XGB 举例，作者是个在国外念博士的中国人，非数学相关科系， 因为这些理论都已经发展十几年了，要怎麽有效率的实作才是重点 目前 DL 很夯 更多拿 AI 去骗计画的 好像什麽都要跟 AI 扯上边 对阿我数学系的，目前也不少数学系教授在做这方面 CS 领域很广，所以做这方面的比较少人 就我所知，台大一些 CS 的打 Kaggle 很强， 其实 data mining 、ML、DL 这方面，资工课程比较完善， 像是台大李宏毅的 ML 线上课程，林轩田，甚至是刚回国的陈縕侬( 超正教授XD ) 都是这方面的专家，而且都不是数学背景喔，所以资工做这块不是问题 应该说 这块连国外都还在发展中 XGB的作者是个在美国念博士的中国人 所以并非那些大企业在玩 而台湾是有这方面的人 就看台湾未来的走向了 台湾未来对这块的需求又是如何?? 其实这块很多都在发展中 是有机会走出自己的一条路的 ※ 编辑: f496328mm (114.36.63.197), 08/29/2017 09:34:52 主要想说的是，不是大公司才能做，而且他非数学相关科系 某部分，不敢说大部分，做这方面的硕士生，使用 default 参数是很常见的， 所以当然不会知道 kernel ，( 不是学店生喔 ) 这点是没错，大公司应该要分部门，专门研究这块的， 不过一般人，使用现成 model，做好其他部分就很厉害了，毕竟 model 只是其中一部分 自己开发 model 这点，在 Kaggle 上也有这种情形，拿最近结束的比赛 Instacart Market Basket Analysis 来说 就有参赛者开发出 arboretum - Gradient Boosting on GPU 当然成果是不错的，另外 XGB 也是有 GPU 版本，未来 GPU 会被大大利用 参数不会是重点，重点还是在 feature， 应该这样讲，参数大家都会调，那凭什麽比其他人强？？ 学校很多都这样阿，几个方法比较一下，因为没有压力，做不好没差 有些小细节更是要注意， 例如比较时，要设 seed ，相同的 training data、testing data， 不然没意义 我目前没看过有教 feature engineering 的线上课程，可能这太细了，又是case by case 单就 ML 的话，台大李弘毅的不错，youtube 上有 我刚开始学，是直接打 Kaggle ，学习别人的方法，并没有上线上课程， Kaggle 的 kernel 很有帮助，大家会分享自己的 code 与想法， code 不难读，慢慢看累积经验，建议你多做几个题目，过期的比赛也没关系 不过排名至少要有 top 10% rank feature engineering 方面，我有对於两个 kaggle 比赛上，写篇文章介绍我的方法 https://github.com/f496328mm/kaggle_Grupo_Bimbo_Inventory_Demand https://github.com/f496328mm/kaggle_Bosch_Production_Line_Performance 我认为这只能靠经验累积，基本上，类似的问题，feature engineering 都很类似 这就是为什麽要找 feature，调参数很没意义 不过我也有经历过初学者，陷入调参数的困境中，最好不要这样， 但是会这样很正常 有兴趣可以合作玩玩看，我没碰过的问题，我也不懂 feature，这需要花费很多时间， 所以蛮希望找人合作 ※ 编辑: f496328mm (36.231.224.18), 09/03/2017 16:37:07