这篇回文我纠结几天在想要不要回 要怎麽回 这一年来有在高中或是大学教书的同学或是亲戚在问我, 怎麽让学生知道这个行业在做啥 让他们知道要怎麽学习 在这顺便做个初步整理 --- 我在台湾做了超过10年的信用风险模型 目前在大陆的互联网行业 对我来说 把变量和模型丢进去算可能只占我5%的工作时间 其他的杂事占了我95%的工作时间 这95%的时间在干嘛呢? 1.1 甲同学我要他做个增减量的特徵变量, 结果说了好几遍还用var算,还回说是一模一样的东西..好吧我自己动手 1.2 乙同学对本组有着不切实际的幻想而申请转岗到本组 以为模型是很神奇的完全不想做赃活清数据做变量库..TMD又是我做 1.3 丙同学模型做好XGBOOT後整包给负责上线的同学,中间层的变量完全没设计变量库 现在哪偏掉了了都不知道 只能找另一个同学丁接手重建 1.4 丁同学调参之後上线但中间层近万个变量也没留 只好找戊同学产出中间层变量的月切片追踪模型表现 1.5 对了,甲丙丁同学刚毕业不久,还是习惯将server上的资料下到本机...一次几十G 数据安全部门同学不爽了 我又得擦屁股了 跟老板凹了台128G的linux,架上Jupyter和mysql连接上Hadoop暂时解决这问题 模型推进的过程中也一直遇到问题 2.1 不管是做传统模型的甲同学 或是机器学习模型的丙丁同学 都是埋头猛做,跟他们说应用场景,资料覆盖率,客户画像,数据源稳定性分析要先做 结果每天都在钻研算法 然後忽然要老板接受一个新模型 只要叫戊同学赶紧用SAS把这些前期分析补上了 2.2 跟乙同学谈了好几遍变量设计 他拿客户三个月的通话纪录做变量,算出一些我看不懂跟预测变量有啥关系的特徵 市内电话占比/手机通话占比/有拨出有拨入的电话占比 好吧 既然他没事先问就先算出来了 我问那方向性呢?越高越好还是越低越好? 他说看数据算出来如果参数是正就是越高越好 负的就越低越好(我脸上三条线) 另外他也处理了一些财务变量 例如 毛利率/营业收入 我问:如果营业收入是0怎麽办?空值吗? 如果毛利率和营业收入都是负怎麽办?跟两个都是正数一样吗? (虽然这模型是我负责..还好最後没上线) 最蛋疼还是平台问题 3.1 我们有hadoop 各种各种前端业务库的mysql 有的小夥伴在container上使用python 有的在linux上使用impala和hive连hadoop 有的做监控的小夥伴用SAS 有些数据在某些平台跑不动 有些平台却没连到某个库 不同平台的SQL语法不同 python2和python3的语法差异也困扰很久 结果是我的东西你用不了 你的东西要用scp或用sqoop转几次 NAS在123机房 计算平台却在456机房 要连就要物理连接 --- 恩 幸好我挤了5%的时间开发自己的模型 其实我想做数据科学家啊 https://imgur.com/P2TGXvr 5%的时间做模型 95%的时间做ppt --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.34.216.183 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1556471434.A.77E.html 我想强调的是这行的dirty work不是只有dirty data 系统 计算引擎 存储的整合都是dirty work 这行本来就这样没啥辛苦的 只是希望还在念书同学的不要有幻想 赶紧念书做些专题 台湾比较可惜没实习 这边大四生和硕二生已经到各公司实习知道产业在做啥 有个比较大的相关问题 也是从业人士很痛的一点 互联网行业老板还知道数据和模型的限制 但其他行业如果模型不准的话 老板会怎麽处理? 所以衍生出来平常怎麽跟老板汇报阶段性成果 或是有些人说啥话老板就信 我说啥话老板就不信 不能赌最後一把模型准不准 这是对於资料的敏感度 例如xgboost漏了一个字母 跟是不是抄袭是正相关?负相关?不相关? 在做特徵工程的时候总该有个想法 漏了一个字母能推断是不是抄袭..你确定你适合干这行? https://imgur.com/6fQAp0Y ※ 编辑: liton (1.34.216.183), 04/30/2019 03:50:32