作者aacs0130 (嘻嘻莉亞)
看板Soft_Job
標題[心得] 資料科學家工作分享與 AI 產業觀察
時間Thu Mar 7 16:05:02 2019
最近版上好像很多人對 AI, ML, Data mining 的工作有興趣
也想知道自學, 唸碩士, AIA 或其他方式怎麼能夠進入 AI 產業
我自己就是資料科學家
想跟大家分享一下我的工作內容跟對 AI 產業的觀察
=== 先說結論 ===
1. 非CS背景想轉職 AI => 念四大碩，主修 AI
2. 不想念碩士，想自學
=> 證明你比四大碩強 => 去社群給 Talk or Kaggle 比到前三
社群有 ML/DM Monday, Taipei.py, Py data 等等
有個聽眾覺得『哎唷不錯喔』，機會就來了
3. 已經是資工碩了
=> 去社群給 Talk or 發top conference paper ex: AAAI, NAACL
=== 我的背景 ===
台大資工學碩
主修NLP, 熟AI, ML, SVM, 不熟DL
待過趨勢,華碩,新創
六年工作經驗 四年DS經驗, 英語流利
=== 資料相關工作內容 ===
資料分析師 : 有產業, 統計知識, 了解問題, 把問題變成數學問題
資料科學家： 把問題變成數學問題, 抽feature, 訂evaluation
設計數學演算法, 寫prototype
資料工程師：data clean, data storage, big data, cloud computing
機器學習工程師：設計數學演算法, 實作演算法, 挑ML模型, tune 參數
把prototype 改成 production code
通常在台灣就是四種都要做...統稱
資料科學家
根據背景知識, data type還會細分成
影像CV, 語音, 語言NLP, 產線資料, signal, 地理資訊等等
影像現在在台灣最紅，約有60家新創
NLP 約20家
語音約3家, google/apple/ms 太強，很難跟他們競爭
後面三種data 我沒有研究....
=== AI 產業現況 ===
2012 - 2017 爆紅 超火
2018 冷靜重整期，很多 AI 新創倒閉
2019 假AI新創很多, Junior 飽和, Senior 超缺
Senior 假設台灣有 N 個，可是缺有 4N
大家都要即戰力，有經驗的，可以馬上做專案
但是Sr. 不是去美國，就是不想換工作
如果你是即戰力，我手上有10個缺可以介紹
Junior 有 N 個，缺大概也有 1.2N 個
不過台灣每年生產1000個 AI碩士吧，所以也不缺人
假 AI 新創就是 『口號出得去 人進得來 大家大發財』
去面試就知道老闆不懂 AI ，問一下雷公司八卦都很多
另外開了2, 3年沒有產品也沒有賺錢的大概也怪怪的
=== 關於訓練新人 ===
公司訓練 Jr 是需要花錢花時間的
而且我的經驗是專案都做不完，哪有時間訓練新人？
讓Sr. 花 20% 的時間訓練新人，少做 20% 專案老闆願意媽？
Sr. 願意犧牲看八卦版呵呵笑的時間訓練新人，是我佛心來著
但是很多新人訓練好又去美國或念博班
我也很無奈呀...
去美國的工作環境, 工時, 薪水, 技術都好很多
念博班的說他想做世界第一，不想做客戶願意付錢的東西
=== 結論 ===
我覺得不鼓勵大家轉職 AI
好公司大概都飽和了，只收 AI 碩
2017年前 AI 景氣很好，但是現在冷了
假AI新創又多，有70%吧，如果你沒有能力分辨就是當砲灰
AIOT 現在 90% 是假新創
另外當資料科學家
背景知識，工程，數學，英文都是基本能力唷
很多人說數學很重要...是因為他們工程跟英文都很好了
Pycon Taiwan 徵稿中 3/18截止，當過講者求職大加分喔！
--
Q:為什麼aacs叫小西呢??
A:1.因為
aacs的英文名字叫
Cicilia Segeliin
2.因為
西是最好寫的
C
3.西是由
一條拋物線+
一組雙曲線+
一個橢圓組成的
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.185.153
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1551945907.A.F59.html
1F：推 bab7171: 推 03/07 16:11
2F：→ MOONY135: 我覺得學校跟課程開出來差不多就等於冷了 03/07 16:13
3F：→ MOONY135: 2014那時候的BIG DATA都還很潮 03/07 16:14
cloud computing, AI, IOT, 區塊鏈, FinTech, Deep learning, AIOT
一波炒過一波
當菜市場阿嬤都知道AI，股市都有AI概念股，就代表潮水要退了
4F：→ robler: AI和大數據就是一個熱潮，過一陣就冷了很正常 03/07 16:18
5F：→ robler: 這種題材靠喊口號騙投資的公司超多，真的要小心 03/07 16:18
6F：→ aacs0130: AI 新創去年倒一堆，美國，中國跟台灣一起倒 03/07 16:19
7F：→ w0005151: AI工作不等於AI公司，我覺得這要搞清楚，科技業沒有不 03/07 16:19
8F：→ w0005151: 需要數學和英文的，就算不碰AI也是 03/07 16:19
9F：→ w0005151: 這篇跟前端文一起看結論是果然大家都不希望轉職者來自己 03/07 16:21
10F：→ w0005151: 產業XD 03/07 16:21
11F：→ aacs0130: 不是不希望大家做AI，是進來的半吊子難民太多，勸退了很 03/07 16:22
12F：→ aacs0130: 多人，履歷收到不想收，但是他們還是找不到工作 03/07 16:23
補充說明：
轉職難民太多，但是他們都沒有作品跟成果...
每個都說我很便宜，請訓練我。
但是我有時間為什麼不去訓練台大碩，要訓練你呢？
13F：推 tataTangQQ: 我這剛跨考上CS的廢物這下不知道要去哪了（原本想說會 03/07 16:27
14F：→ tataTangQQ: 上中央AI組） 03/07 16:27
15F：推 ice80712: 推 AI只有少數幾家會活下來 03/07 16:27
16F：→ w0005151: 半吊子在任何領域都會碰壁的, 看上面前端文就知道 03/07 16:30
17F：→ w0005151: 但還是推分享 03/07 16:30
18F：→ aacs0130: 應該說轉職難民太多，但是他們都沒有作品跟成果..... 03/07 16:33
19F：→ MOONY135: 我最近聊了幾家 也開始覺得我是難民... 03/07 16:45
現在景氣不好，多聊十家吧！
20F：推 cia1099: 台大純血還在華碩糟踏 03/07 16:58
華碩不錯啊，學習到很多東西。
我知道自己要什麼，缺什麼就好囉~~~
台大純血沒去美國就會一直被罵耶~~~
21F：推 a126sam01: 有大神出沒，給推~ 03/07 16:58
22F：推 Transfat: 轉職又非即戰力，是不是沒希望了 03/07 17:03
23F：推 ckp4131025: 大家都只要即戰力，市場當然很缺senior囉 03/07 17:33
老實說我覺得這是台灣 AI 圈的困境
一來 AI 圈也才紅5年，Sr. 本來就不多
二來 很多 Sr. 都跑去美國了
三來 Jr. 沒人帶也沒有自學能力就不能變Sr.，只會變成Super Junior
四來 老闆都希望Sr. 免費加班帶Jr. 還要加班做專案
24F：→ MOONY135: 現在風口感覺消失的時間點越來越快 03/07 17:34
25F：→ aacs0130: 所以熱情興趣比較重要，熱潮是很快消退的 03/07 17:37
26F：推 LinuxKernel: 要開示一下哪些是假AI新創嗎 03/07 17:49
會被告耶
27F：推 descent: 感謝分享 03/07 17:56
28F：推 SmallpTsai: 推這篇 03/07 18:01
29F：推 cplusplus426: 根本沒那麼多即戰力啊 別的領域做久了 誰想跳出舒 03/07 18:02
30F：→ cplusplus426: 適圈 03/07 18:02
31F：推 cplusplus426: 你背景也太強 03/07 18:03
32F：推 freepenguin: 推 03/07 18:23
33F：推 chiu1505: 推 謝謝學長 03/07 18:45
人家4女森...森77...7pupu
34F：推 Morphee: 你的Senior缺年薪範圍是？ 03/07 18:47
1.2N - 2N，N等於現職薪水
35F：推 BaGaJohn5566: 推 03/07 18:49
36F：推 drajan: super junior有梗 是說人多的地方不要走 老祖宗說過了 03/07 19:46
37F：推 chocopie: 推分享 03/07 19:51
38F：推 vincentman: super junior。感覺很悲哀XD 03/07 19:55
39F：推 kutkin: super junior 03/07 19:58
40F：推 TacoBell: 想知道大大現在在哪高就 03/07 20:04
41F：推 zackl852l: 推～ 03/07 20:50
42F：推 rereterry: super jubior 笑了，然後哭了 03/07 21:03
43F：推 apley: 推super junior～有梗～ 03/07 22:41
44F：推 littlethe: 我想請教你對資安的看法如何?因為我進修有資安和資科可 03/07 23:04
45F：→ littlethe: 選,我原本想走資科,但看到一堆人走資科就怕怕的 03/07 23:06
看你對什麼有興趣跟熱情囉...熱潮退得很快...
我碩班念AI的時候根本沒人想念，大家都在做遊戲跟CV, embedded
46F：推 littlethe: 我是對資科興趣大一些,因為我以前也喜歡統計,但看到現 03/07 23:54
47F：→ littlethe: 在瘋成這樣,感覺只有很頂尖的人走資科才有用 03/07 23:55
不會呀，人人有功練
畢竟每年還是有幾百個 Junior 入行
當然數學，工程，英文，溝通都要努力鑽研才能頂尖
48F：推 scan33scan33: Thank you 學姐 03/08 00:09
Hi 強者學弟，你學長都在亂叫我學長...
50F：→ Wush978: 有作品、有mentor、又因為公益性質容易上媒體 03/08 00:10
51F：→ Wush978: 話說AI, 資料科學目前還是幫有錢人比較多，幫窮人較少... 03/08 00:11
推...幫高調喔
52F：推 sxy67230: 難民之一，想跳槽公司但是目前都沒遇到合意的 03/08 00:18
53F：推 littlethe: 幫助窮人比較少?怎麼說? 03/08 00:20
54F：推 fansia: 推推 作相關工作約6-8年 前年登出了 還是賺錢糊糊口重要 03/08 00:25
DS很多人轉行做backend。ML技術, paper更新太快，學得很累
55F：推 mirror0227: 正在唸AI碩 怕爆 03/08 00:35
不會啦！AI碩 未來五年內不會缺工作
56F：推 gravity067: super junior 這個讚XD 感謝大大提供真實現況 03/08 00:41
57F：推 sxy67230: 推樓上 現在潮水退了 真的想入坑除非有愛要不然真的不要 03/08 00:43
58F：→ sxy67230: 進來 本人在金融壽險業做NLP領域 銀行業很多主管不瞭解 03/08 00:43
59F：→ sxy67230: 這塊領域有過分的幻想 導致他們覺得ai就只有這樣 03/08 00:43
60F：推 sss81521: 請問唸AI碩去IC廠做AI相關容易嗎？ 03/08 00:45
61F：→ aacs0130: IC廠不熟 03/08 00:48
62F：→ ice80712: 做影像相關容易去IC廠 做NLP或數據類的...難 03/08 00:52
63F：推 dwaydwaydway: 感覺nlp工作好像少很多（？ 03/08 01:29
yes
64F：推 y800122155: 所以junior的合理薪資範圍是? 03/08 01:35
有多少能力拿多少錢
有22K也有人100K
65F：推 vn509942: 這幾年很多金主對AI題材有莫名的期待 03/08 01:40
真的
66F：→ lukelove: 純推純血 03/08 01:50
※ 編輯: aacs0130 (123.193.91.113), 03/08/2019 02:40:53
67F：推 drajan: 我們新的CTOㄧ進會議室就問 你們怎麼不用deep learning？ 03/08 06:28
68F：→ drajan: 暈倒....DL又不是萬靈丹 03/08 06:28
我也遇過客戶給我200筆資料，卻說怎麼不用deep learning?
你給我10000筆以上再提DL吧...
69F：推 shiauji: 感謝 03/08 07:05
70F：噓 kriswu8021: AAAI不是top conference 03/08 08:26
71F：推 vincentman: @drajan,CTO意思可能是問有沒試著study或評估？也就是 03/08 09:16
72F：→ vincentman: 要聽不使用的理由，應該沒有說一定要用，總要有個說法 03/08 09:16
73F：→ vincentman: ，不然他跟別人很難交代XD 03/08 09:16
74F：推 andyliu42: AI碩不能光是投AAAI吧，領域沒有符合公司需求也不好找 03/08 09:20
75F：→ andyliu42: 把 CV or NLP 點一點也蠻重要的 03/08 09:21
76F：→ ap954212: CVPR ICCV ECCV吧 03/08 09:37
77F：推 sean50301: ACL EMNLP ㄋ 03/08 10:36
當然都是，NLP還有 COLING, IJCIR, SIGIR, ICML, IJCAI
78F：推 sean50301: NIPS 03/08 10:38
79F：推 Ouranos: 請問在台灣找Data Engineer會比找AI/ML還好找嗎? 03/08 12:02
80F：推 Ouranos: 我是指做data pipeline, 用Spark/Cassandra/Airflow這類 03/08 12:09
81F：→ Ouranos: distributed system類的工作 謝謝分享! :) 03/08 12:10
我覺得不會，我很少聽到big data的data engineer 工作
大部分都是 data clean 的工作
而且是data scientist 兼任 data eng., data analyse, ML eng.
82F：噓 thefattiger: 學歷很好用但不代表非四大碩什麼都做不了,你的結論 03/08 12:40
83F：→ thefattiger: 有點偏頗,還有很多在做AI的公司並不是AI公司 03/08 12:41
84F：→ thefattiger: 很多是本身有其他運作很久的業務,只是成立個AI部門 03/08 12:41
我的意思說只看學歷
但是如果非資工本科又沒有亮眼學歷
你就必須有亮眼作品
不然你會找不到Senior帶，學習成長很有限
另外你說得對，很多傳產最近都成立的AI部門
但是資工碩通常不喜歡去傳產，除非高薪又早下班。
所以我聽說裡面都很少資工碩
85F：→ physheepy: 樓上說的這種公司其實是做ML的大宗 但是這些公司大多 03/08 14:03
86F：→ physheepy: 早已在四五年前開始佈局招人或者訓練內部人員投入AI 03/08 14:04
87F：→ physheepy: 研發 運作得好的話 現在應該沒位置了才對 03/08 14:04
88F：推 Gaogaigar: 樓上 其實不只ai 熱門的新玩意都是先找四大碩再說 03/08 14:05
89F：→ thefattiger: 非四大碩就是面試多間一點,大不了就薪水低一點 03/08 14:18
90F：→ thefattiger: 最近幾篇文看下來就是大家都把自己領域的門檻講的很 03/08 14:36
91F：→ thefattiger: 高,但每個領域學到深都馬很難,要這樣講講不完啦 03/08 14:36
92F：推 tipsofwarren: 可以請問，為什麼GAN 中的generator 不是generative 03/08 18:46
93F：→ tipsofwarren: model? 03/08 18:46
94F：推 sxy67230: gan 的genetor 本身就是一個generative model啊，原始 03/08 19:25
95F：→ sxy67230: 的goodfellow論文完全沒強調他一定是個自編碼器的decode 03/08 19:25
96F：→ sxy67230: ，他可以是任意的generative model，只是用自編碼你不 03/08 19:25
97F：→ sxy67230: 用像傳統HMM一樣考慮你的joint probability而已 03/08 19:25
98F：→ DrTech: 台灣好像稱乎科學家的門檻很低。 03/09 00:15
99F：→ DrTech: 人人做個兩年都號稱自己是科學家了。離開台灣，科學家可是 03/09 00:16
100F：→ DrTech: 職級很高的職缺耶 03/09 00:16
101F：推 frouscy: 大公司是這樣啦, 不過一堆SV中小公司的DS根本都在做DA做 03/09 00:20
102F：→ frouscy: 的事, 根本連model都碰不到... 03/09 00:21
103F：→ DrTech: 原po應該是沒問題，但是現在市場人人喊自己是高手的情形太 03/09 00:31
104F：→ DrTech: 氾濫。浮誇氣氛太濃。 03/09 00:31
我不是高手啦，但是台灣都是一個人包DS, DA, Data Eng, ML Eng
但是名稱掛資料科學家
每次講自己的職稱都覺得很心虛，只有使用者經驗研究員聽起來更威
105F：→ thefattiger: 我還是建議想轉職的人，基本的看一看趕快找工作 03/09 00:33
106F：→ thefattiger: 就算是很賽的小公司也好，真的開始做才知道 03/09 00:34
107F：→ thefattiger: 自己缺的是啥，實務上需要的是啥 03/09 00:34
108F：→ thefattiger: 聽人一直說數學要好英文要好根本也不知道要學甚麼 03/09 00:34
109F：→ thefattiger: 然後DS絕對絕對不適合轉職者 03/09 00:35
110F：推 drajan: 一堆DS都是非資工系畢業的 樓上在胡說八道什麼？ 03/09 00:48
111F：→ ice80712: 現在ds職缺本來就很多 門檻也低 哪需要資工系畢業 03/09 00:58
112F：→ thefattiger: 你們講的真的是data "scientist"嗎... 03/09 01:29
113F：推 littlethe: 我反而覺得DS很適合統計數學的轉來資訊,而一般工程師 03/09 02:05
114F：→ littlethe: 不太適合走DS,數學比重大於工程 03/09 02:06
115F：→ littlethe: 所以我也不推胖虎的說法,不挑工作做的話,就只是工程師 03/09 02:09
116F：推 drajan: 非資工系畢業代表門檻低 這邏輯....沒看過數學 物理 電機 03/09 02:21
117F：→ drajan: 博士跑去當DS? 03/09 02:21
118F：→ thefattiger: 一般工程師當然是轉ML工程師容易啊，職缺多門檻低 03/09 02:28
119F：→ thefattiger: 剛換領域哪有那多工作給你挑，先入門再慢慢提升實力 03/09 02:28
樓上大大們有的說的是美國大公司的純資料科學家
有的說的是台灣包山包海的資料科學家，很多沒有設計模型跟演算法
美國大公司的純資料科學家有個配合的工程師
幫忙把prototype 改寫成 production code
所以不必資工本科，很多統計，數學，工科博士背景
不過台灣prototype直接要上線的就很需要軟體工程背景了
因為上線交給客戶後有 bug 超麻煩
120F：→ ice80712: 104上一堆ds缺 大學畢業就能去了 我講的是國內 03/09 02:51
121F：→ ice80712: 台灣哪有什麼純科學家 都馬要會工程 所以工程絕對比數學 03/09 02:52
122F：→ ice80712: 重要 03/09 02:52
123F：→ ice80712: 連兩年碩都不用讀就能找一堆工作了 門檻還不低？ 03/09 02:57
※ 編輯: aacs0130 (123.193.91.113), 03/09/2019 03:08:13
124F：推 drajan: 能激起討論蠻令我意外的 記得2014年時談到資料科學時我看 03/09 04:45
125F：→ drajan: 版上大部分都沒聽過那玩意 03/09 04:45
126F：推 fig498: 感謝各位大神分享 03/09 07:11
127F：推 sxy67230: 2014左右那個時候確實台灣沒什麼DS職缺，再早以前你想 03/09 08:06
128F：→ sxy67230: 玩ML，就去當個algorithm，但台灣公司根本沒要什麼高深 03/09 08:06
129F：→ sxy67230: 很屌的algorithm，所以algorithm很常就是做雜工。 03/09 08:06
130F：推 gbd37: 猛 03/09 08:17
131F：推 goldflower: 2015那時出來最爽 到現在應該都小主管了 03/09 13:13
132F：→ goldflower: 更早沒缺 更晚人太多 每年自稱修過台大李宏毅的課的 03/09 13:15
133F：→ goldflower: 就不知道有多少人了 飽和到不行 03/09 13:15
134F：推 fusen80: 專業分析！！ 03/09 14:22
135F：推 g12288: 中肯 03/09 23:44
136F：推 eric525498: 推產業分析 03/10 12:30
137F：推 usoko: 推 03/12 09:45
138F：推 dsa66253: 先推一個 想請問一下 資工不走最潮的ai 還有哪些領域可 01/24 04:45
139F：→ dsa66253: 以參考呢？感覺板上一堆問前端後端的 都是門檻低的 01/24 04:45