這篇回文我糾結幾天在想要不要回 要怎麼回 這一年來有在高中或是大學教書的同學或是親戚在問我, 怎麼讓學生知道這個行業在做啥 讓他們知道要怎麼學習 在這順便做個初步整理 --- 我在台灣做了超過10年的信用風險模型 目前在大陸的互聯網行業 對我來說 把變量和模型丟進去算可能只占我5%的工作時間 其他的雜事占了我95%的工作時間 這95%的時間在幹嘛呢? 1.1 甲同學我要他做個增減量的特徵變量, 結果說了好幾遍還用var算,還回說是一模一樣的東西..好吧我自己動手 1.2 乙同學對本組有著不切實際的幻想而申請轉崗到本組 以為模型是很神奇的完全不想做贓活清數據做變量庫..TMD又是我做 1.3 丙同學模型做好XGBOOT後整包給負責上線的同學,中間層的變量完全沒設計變量庫 現在哪偏掉了了都不知道 只能找另一個同學丁接手重建 1.4 丁同學調參之後上線但中間層近萬個變量也沒留 只好找戊同學產出中間層變量的月切片追蹤模型表現 1.5 對了,甲丙丁同學剛畢業不久,還是習慣將server上的資料下到本機...一次幾十G 數據安全部門同學不爽了 我又得擦屁股了 跟老闆凹了台128G的linux,架上Jupyter和mysql連接上Hadoop暫時解決這問題 模型推進的過程中也一直遇到問題 2.1 不管是做傳統模型的甲同學 或是機器學習模型的丙丁同學 都是埋頭猛做,跟他們說應用場景,資料覆蓋率,客戶畫像,數據源穩定性分析要先做 結果每天都在鑽研算法 然後忽然要老闆接受一個新模型 只要叫戊同學趕緊用SAS把這些前期分析補上了 2.2 跟乙同學談了好幾遍變量設計 他拿客戶三個月的通話紀錄做變量,算出一些我看不懂跟預測變量有啥關係的特徵 市內電話占比/手機通話占比/有撥出有撥入的電話佔比 好吧 既然他沒事先問就先算出來了 我問那方向性呢?越高越好還是越低越好? 他說看數據算出來如果參數是正就是越高越好 負的就越低越好(我臉上三條線) 另外他也處理了一些財務變量 例如 毛利率/營業收入 我問:如果營業收入是0怎麼辦?空值嗎? 如果毛利率和營業收入都是負怎麼辦?跟兩個都是正數一樣嗎? (雖然這模型是我負責..還好最後沒上線) 最蛋疼還是平台問題 3.1 我們有hadoop 各種各種前端業務庫的mysql 有的小夥伴在container上使用python 有的在linux上使用impala和hive連hadoop 有的做監控的小夥伴用SAS 有些數據在某些平台跑不動 有些平台卻沒連到某個庫 不同平台的SQL語法不同 python2和python3的語法差異也困擾很久 結果是我的東西你用不了 你的東西要用scp或用sqoop轉幾次 NAS在123機房 計算平台卻在456機房 要連就要物理連接 --- 恩 幸好我擠了5%的時間開發自己的模型 其實我想做數據科學家啊 https://imgur.com/P2TGXvr 5%的時間做模型 95%的時間做ppt --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.216.183 ※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1556471434.A.77E.html 我想強調的是這行的dirty work不是只有dirty data 系統 計算引擎 存儲的整合都是dirty work 這行本來就這樣沒啥辛苦的 只是希望還在念書同學的不要有幻想 趕緊念書做些專題 台灣比較可惜沒實習 這邊大四生和碩二生已經到各公司實習知道產業在做啥 有個比較大的相關問題 也是從業人士很痛的一點 互聯網行業老闆還知道數據和模型的限制 但其他行業如果模型不準的話 老闆會怎麼處理? 所以衍生出來平常怎麼跟老闆匯報階段性成果 或是有些人說啥話老闆就信 我說啥話老闆就不信 不能賭最後一把模型準不準 這是對於資料的敏感度 例如xgboost漏了一個字母 跟是不是抄襲是正相關?負相關?不相關? 在做特徵工程的時候總該有個想法 漏了一個字母能推斷是不是抄襲..你確定你適合幹這行? https://imgur.com/6fQAp0Y ※ 編輯: liton (1.34.216.183), 04/30/2019 03:50:32