作者aacs0130 (嘻嘻莉亚)
看板Soft_Job
标题[心得] 资料科学家工作分享与 AI 产业观察
时间Thu Mar 7 16:05:02 2019
最近版上好像很多人对 AI, ML, Data mining 的工作有兴趣
也想知道自学, 念硕士, AIA 或其他方式怎麽能够进入 AI 产业
我自己就是资料科学家
想跟大家分享一下我的工作内容跟对 AI 产业的观察
=== 先说结论 ===
1. 非CS背景想转职 AI => 念四大硕，主修 AI
2. 不想念硕士，想自学
=> 证明你比四大硕强 => 去社群给 Talk or Kaggle 比到前三
社群有 ML/DM Monday, Taipei.py, Py data 等等
有个听众觉得『哎唷不错喔』，机会就来了
3. 已经是资工硕了
=> 去社群给 Talk or 发top conference paper ex: AAAI, NAACL
=== 我的背景 ===
台大资工学硕
主修NLP, 熟AI, ML, SVM, 不熟DL
待过趋势,华硕,新创
六年工作经验 四年DS经验, 英语流利
=== 资料相关工作内容 ===
资料分析师 : 有产业, 统计知识, 了解问题, 把问题变成数学问题
资料科学家： 把问题变成数学问题, 抽feature, 订evaluation
设计数学演算法, 写prototype
资料工程师：data clean, data storage, big data, cloud computing
机器学习工程师：设计数学演算法, 实作演算法, 挑ML模型, tune 参数
把prototype 改成 production code
通常在台湾就是四种都要做...统称
资料科学家
根据背景知识, data type还会细分成
影像CV, 语音, 语言NLP, 产线资料, signal, 地理资讯等等
影像现在在台湾最红，约有60家新创
NLP 约20家
语音约3家, google/apple/ms 太强，很难跟他们竞争
後面三种data 我没有研究....
=== AI 产业现况 ===
2012 - 2017 爆红 超火
2018 冷静重整期，很多 AI 新创倒闭
2019 假AI新创很多, Junior 饱和, Senior 超缺
Senior 假设台湾有 N 个，可是缺有 4N
大家都要即战力，有经验的，可以马上做专案
但是Sr. 不是去美国，就是不想换工作
如果你是即战力，我手上有10个缺可以介绍
Junior 有 N 个，缺大概也有 1.2N 个
不过台湾每年生产1000个 AI硕士吧，所以也不缺人
假 AI 新创就是 『口号出得去 人进得来 大家大发财』
去面试就知道老板不懂 AI ，问一下雷公司八卦都很多
另外开了2, 3年没有产品也没有赚钱的大概也怪怪的
=== 关於训练新人 ===
公司训练 Jr 是需要花钱花时间的
而且我的经验是专案都做不完，哪有时间训练新人？
让Sr. 花 20% 的时间训练新人，少做 20% 专案老板愿意妈？
Sr. 愿意牺牲看八卦版呵呵笑的时间训练新人，是我佛心来着
但是很多新人训练好又去美国或念博班
我也很无奈呀...
去美国的工作环境, 工时, 薪水, 技术都好很多
念博班的说他想做世界第一，不想做客户愿意付钱的东西
=== 结论 ===
我觉得不鼓励大家转职 AI
好公司大概都饱和了，只收 AI 硕
2017年前 AI 景气很好，但是现在冷了
假AI新创又多，有70%吧，如果你没有能力分辨就是当炮灰
AIOT 现在 90% 是假新创
另外当资料科学家
背景知识，工程，数学，英文都是基本能力唷
很多人说数学很重要...是因为他们工程跟英文都很好了
Pycon Taiwan 徵稿中 3/18截止，当过讲者求职大加分喔！
--
Q:为什麽aacs叫小西呢??
A:1.因为
aacs的英文名字叫
Cicilia Segeliin
2.因为
西是最好写的
C
3.西是由
一条抛物线+
一组双曲线+
一个椭圆组成的
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.134.185.153
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1551945907.A.F59.html
1F：推 bab7171: 推 03/07 16:11
2F：→ MOONY135: 我觉得学校跟课程开出来差不多就等於冷了 03/07 16:13
3F：→ MOONY135: 2014那时候的BIG DATA都还很潮 03/07 16:14
cloud computing, AI, IOT, 区块链, FinTech, Deep learning, AIOT
一波炒过一波
当菜市场阿嬷都知道AI，股市都有AI概念股，就代表潮水要退了
4F：→ robler: AI和大数据就是一个热潮，过一阵就冷了很正常 03/07 16:18
5F：→ robler: 这种题材靠喊口号骗投资的公司超多，真的要小心 03/07 16:18
6F：→ aacs0130: AI 新创去年倒一堆，美国，中国跟台湾一起倒 03/07 16:19
7F：→ w0005151: AI工作不等於AI公司，我觉得这要搞清楚，科技业没有不 03/07 16:19
8F：→ w0005151: 需要数学和英文的，就算不碰AI也是 03/07 16:19
9F：→ w0005151: 这篇跟前端文一起看结论是果然大家都不希望转职者来自己 03/07 16:21
10F：→ w0005151: 产业XD 03/07 16:21
11F：→ aacs0130: 不是不希望大家做AI，是进来的半吊子难民太多，劝退了很 03/07 16:22
12F：→ aacs0130: 多人，履历收到不想收，但是他们还是找不到工作 03/07 16:23
补充说明：
转职难民太多，但是他们都没有作品跟成果...
每个都说我很便宜，请训练我。
但是我有时间为什麽不去训练台大硕，要训练你呢？
13F：推 tataTangQQ: 我这刚跨考上CS的废物这下不知道要去哪了（原本想说会 03/07 16:27
14F：→ tataTangQQ: 上中央AI组） 03/07 16:27
15F：推 ice80712: 推 AI只有少数几家会活下来 03/07 16:27
16F：→ w0005151: 半吊子在任何领域都会碰壁的, 看上面前端文就知道 03/07 16:30
17F：→ w0005151: 但还是推分享 03/07 16:30
18F：→ aacs0130: 应该说转职难民太多，但是他们都没有作品跟成果..... 03/07 16:33
19F：→ MOONY135: 我最近聊了几家 也开始觉得我是难民... 03/07 16:45
现在景气不好，多聊十家吧！
20F：推 cia1099: 台大纯血还在华硕糟踏 03/07 16:58
华硕不错啊，学习到很多东西。
我知道自己要什麽，缺什麽就好罗~~~
台大纯血没去美国就会一直被骂耶~~~
21F：推 a126sam01: 有大神出没，给推~ 03/07 16:58
22F：推 Transfat: 转职又非即战力，是不是没希望了 03/07 17:03
23F：推 ckp4131025: 大家都只要即战力，市场当然很缺senior罗 03/07 17:33
老实说我觉得这是台湾 AI 圈的困境
一来 AI 圈也才红5年，Sr. 本来就不多
二来 很多 Sr. 都跑去美国了
三来 Jr. 没人带也没有自学能力就不能变Sr.，只会变成Super Junior
四来 老板都希望Sr. 免费加班带Jr. 还要加班做专案
24F：→ MOONY135: 现在风口感觉消失的时间点越来越快 03/07 17:34
25F：→ aacs0130: 所以热情兴趣比较重要，热潮是很快消退的 03/07 17:37
26F：推 LinuxKernel: 要开示一下哪些是假AI新创吗 03/07 17:49
会被告耶
27F：推 descent: 感谢分享 03/07 17:56
28F：推 SmallpTsai: 推这篇 03/07 18:01
29F：推 cplusplus426: 根本没那麽多即战力啊 别的领域做久了 谁想跳出舒 03/07 18:02
30F：→ cplusplus426: 适圈 03/07 18:02
31F：推 cplusplus426: 你背景也太强 03/07 18:03
32F：推 freepenguin: 推 03/07 18:23
33F：推 chiu1505: 推 谢谢学长 03/07 18:45
人家4女森...森77...7pupu
34F：推 Morphee: 你的Senior缺年薪范围是？ 03/07 18:47
1.2N - 2N，N等於现职薪水
35F：推 BaGaJohn5566: 推 03/07 18:49
36F：推 drajan: super junior有梗 是说人多的地方不要走 老祖宗说过了 03/07 19:46
37F：推 chocopie: 推分享 03/07 19:51
38F：推 vincentman: super junior。感觉很悲哀XD 03/07 19:55
39F：推 kutkin: super junior 03/07 19:58
40F：推 TacoBell: 想知道大大现在在哪高就 03/07 20:04
41F：推 zackl852l: 推～ 03/07 20:50
42F：推 rereterry: super jubior 笑了，然後哭了 03/07 21:03
43F：推 apley: 推super junior～有梗～ 03/07 22:41
44F：推 littlethe: 我想请教你对资安的看法如何?因为我进修有资安和资科可 03/07 23:04
45F：→ littlethe: 选,我原本想走资科,但看到一堆人走资科就怕怕的 03/07 23:06
看你对什麽有兴趣跟热情罗...热潮退得很快...
我硕班念AI的时候根本没人想念，大家都在做游戏跟CV, embedded
46F：推 littlethe: 我是对资科兴趣大一些,因为我以前也喜欢统计,但看到现 03/07 23:54
47F：→ littlethe: 在疯成这样,感觉只有很顶尖的人走资科才有用 03/07 23:55
不会呀，人人有功练
毕竟每年还是有几百个 Junior 入行
当然数学，工程，英文，沟通都要努力钻研才能顶尖
48F：推 scan33scan33: Thank you 学姐 03/08 00:09
Hi 强者学弟，你学长都在乱叫我学长...
50F：→ Wush978: 有作品、有mentor、又因为公益性质容易上媒体 03/08 00:10
51F：→ Wush978: 话说AI, 资料科学目前还是帮有钱人比较多，帮穷人较少... 03/08 00:11
推...帮高调喔
52F：推 sxy67230: 难民之一，想跳槽公司但是目前都没遇到合意的 03/08 00:18
53F：推 littlethe: 帮助穷人比较少?怎麽说? 03/08 00:20
54F：推 fansia: 推推 作相关工作约6-8年 前年登出了 还是赚钱糊糊口重要 03/08 00:25
DS很多人转行做backend。ML技术, paper更新太快，学得很累
55F：推 mirror0227: 正在念AI硕 怕爆 03/08 00:35
不会啦！AI硕 未来五年内不会缺工作
56F：推 gravity067: super junior 这个赞XD 感谢大大提供真实现况 03/08 00:41
57F：推 sxy67230: 推楼上 现在潮水退了 真的想入坑除非有爱要不然真的不要 03/08 00:43
58F：→ sxy67230: 进来 本人在金融寿险业做NLP领域 银行业很多主管不了解 03/08 00:43
59F：→ sxy67230: 这块领域有过分的幻想 导致他们觉得ai就只有这样 03/08 00:43
60F：推 sss81521: 请问念AI硕去IC厂做AI相关容易吗？ 03/08 00:45
61F：→ aacs0130: IC厂不熟 03/08 00:48
62F：→ ice80712: 做影像相关容易去IC厂 做NLP或数据类的...难 03/08 00:52
63F：推 dwaydwaydway: 感觉nlp工作好像少很多（？ 03/08 01:29
yes
64F：推 y800122155: 所以junior的合理薪资范围是? 03/08 01:35
有多少能力拿多少钱
有22K也有人100K
65F：推 vn509942: 这几年很多金主对AI题材有莫名的期待 03/08 01:40
真的
66F：→ lukelove: 纯推纯血 03/08 01:50
※ 编辑: aacs0130 (123.193.91.113), 03/08/2019 02:40:53
67F：推 drajan: 我们新的CTOㄧ进会议室就问 你们怎麽不用deep learning？ 03/08 06:28
68F：→ drajan: 晕倒....DL又不是万灵丹 03/08 06:28
我也遇过客户给我200笔资料，却说怎麽不用deep learning?
你给我10000笔以上再提DL吧...
69F：推 shiauji: 感谢 03/08 07:05
70F：嘘 kriswu8021: AAAI不是top conference 03/08 08:26
71F：推 vincentman: @drajan,CTO意思可能是问有没试着study或评估？也就是 03/08 09:16
72F：→ vincentman: 要听不使用的理由，应该没有说一定要用，总要有个说法 03/08 09:16
73F：→ vincentman: ，不然他跟别人很难交代XD 03/08 09:16
74F：推 andyliu42: AI硕不能光是投AAAI吧，领域没有符合公司需求也不好找 03/08 09:20
75F：→ andyliu42: 把 CV or NLP 点一点也蛮重要的 03/08 09:21
76F：→ ap954212: CVPR ICCV ECCV吧 03/08 09:37
77F：推 sean50301: ACL EMNLP ㄋ 03/08 10:36
当然都是，NLP还有 COLING, IJCIR, SIGIR, ICML, IJCAI
78F：推 sean50301: NIPS 03/08 10:38
79F：推 Ouranos: 请问在台湾找Data Engineer会比找AI/ML还好找吗? 03/08 12:02
80F：推 Ouranos: 我是指做data pipeline, 用Spark/Cassandra/Airflow这类 03/08 12:09
81F：→ Ouranos: distributed system类的工作 谢谢分享! :) 03/08 12:10
我觉得不会，我很少听到big data的data engineer 工作
大部分都是 data clean 的工作
而且是data scientist 兼任 data eng., data analyse, ML eng.
82F：嘘 thefattiger: 学历很好用但不代表非四大硕什麽都做不了,你的结论 03/08 12:40
83F：→ thefattiger: 有点偏颇,还有很多在做AI的公司并不是AI公司 03/08 12:41
84F：→ thefattiger: 很多是本身有其他运作很久的业务,只是成立个AI部门 03/08 12:41
我的意思说只看学历
但是如果非资工本科又没有亮眼学历
你就必须有亮眼作品
不然你会找不到Senior带，学习成长很有限
另外你说得对，很多传产最近都成立的AI部门
但是资工硕通常不喜欢去传产，除非高薪又早下班。
所以我听说里面都很少资工硕
85F：→ physheepy: 楼上说的这种公司其实是做ML的大宗 但是这些公司大多 03/08 14:03
86F：→ physheepy: 早已在四五年前开始布局招人或者训练内部人员投入AI 03/08 14:04
87F：→ physheepy: 研发 运作得好的话 现在应该没位置了才对 03/08 14:04
88F：推 Gaogaigar: 楼上 其实不只ai 热门的新玩意都是先找四大硕再说 03/08 14:05
89F：→ thefattiger: 非四大硕就是面试多间一点,大不了就薪水低一点 03/08 14:18
90F：→ thefattiger: 最近几篇文看下来就是大家都把自己领域的门槛讲的很 03/08 14:36
91F：→ thefattiger: 高,但每个领域学到深都马很难,要这样讲讲不完啦 03/08 14:36
92F：推 tipsofwarren: 可以请问，为什麽GAN 中的generator 不是generative 03/08 18:46
93F：→ tipsofwarren: model? 03/08 18:46
94F：推 sxy67230: gan 的genetor 本身就是一个generative model啊，原始 03/08 19:25
95F：→ sxy67230: 的goodfellow论文完全没强调他一定是个自编码器的decode 03/08 19:25
96F：→ sxy67230: ，他可以是任意的generative model，只是用自编码你不 03/08 19:25
97F：→ sxy67230: 用像传统HMM一样考虑你的joint probability而已 03/08 19:25
98F：→ DrTech: 台湾好像称乎科学家的门槛很低。 03/09 00:15
99F：→ DrTech: 人人做个两年都号称自己是科学家了。离开台湾，科学家可是 03/09 00:16
100F：→ DrTech: 职级很高的职缺耶 03/09 00:16
101F：推 frouscy: 大公司是这样啦, 不过一堆SV中小公司的DS根本都在做DA做 03/09 00:20
102F：→ frouscy: 的事, 根本连model都碰不到... 03/09 00:21
103F：→ DrTech: 原po应该是没问题，但是现在市场人人喊自己是高手的情形太 03/09 00:31
104F：→ DrTech: 泛滥。浮夸气氛太浓。 03/09 00:31
我不是高手啦，但是台湾都是一个人包DS, DA, Data Eng, ML Eng
但是名称挂资料科学家
每次讲自己的职称都觉得很心虚，只有使用者经验研究员听起来更威
105F：→ thefattiger: 我还是建议想转职的人，基本的看一看赶快找工作 03/09 00:33
106F：→ thefattiger: 就算是很赛的小公司也好，真的开始做才知道 03/09 00:34
107F：→ thefattiger: 自己缺的是啥，实务上需要的是啥 03/09 00:34
108F：→ thefattiger: 听人一直说数学要好英文要好根本也不知道要学甚麽 03/09 00:34
109F：→ thefattiger: 然後DS绝对绝对不适合转职者 03/09 00:35
110F：推 drajan: 一堆DS都是非资工系毕业的 楼上在胡说八道什麽？ 03/09 00:48
111F：→ ice80712: 现在ds职缺本来就很多 门槛也低 哪需要资工系毕业 03/09 00:58
112F：→ thefattiger: 你们讲的真的是data "scientist"吗... 03/09 01:29
113F：推 littlethe: 我反而觉得DS很适合统计数学的转来资讯,而一般工程师 03/09 02:05
114F：→ littlethe: 不太适合走DS,数学比重大於工程 03/09 02:06
115F：→ littlethe: 所以我也不推胖虎的说法,不挑工作做的话,就只是工程师 03/09 02:09
116F：推 drajan: 非资工系毕业代表门槛低 这逻辑....没看过数学 物理 电机 03/09 02:21
117F：→ drajan: 博士跑去当DS? 03/09 02:21
118F：→ thefattiger: 一般工程师当然是转ML工程师容易啊，职缺多门槛低 03/09 02:28
119F：→ thefattiger: 刚换领域哪有那多工作给你挑，先入门再慢慢提升实力 03/09 02:28
楼上大大们有的说的是美国大公司的纯资料科学家
有的说的是台湾包山包海的资料科学家，很多没有设计模型跟演算法
美国大公司的纯资料科学家有个配合的工程师
帮忙把prototype 改写成 production code
所以不必资工本科，很多统计，数学，工科博士背景
不过台湾prototype直接要上线的就很需要软体工程背景了
因为上线交给客户後有 bug 超麻烦
120F：→ ice80712: 104上一堆ds缺 大学毕业就能去了 我讲的是国内 03/09 02:51
121F：→ ice80712: 台湾哪有什麽纯科学家 都马要会工程 所以工程绝对比数学 03/09 02:52
122F：→ ice80712: 重要 03/09 02:52
123F：→ ice80712: 连两年硕都不用读就能找一堆工作了 门槛还不低？ 03/09 02:57
※ 编辑: aacs0130 (123.193.91.113), 03/09/2019 03:08:13
124F：推 drajan: 能激起讨论蛮令我意外的 记得2014年时谈到资料科学时我看 03/09 04:45
125F：→ drajan: 版上大部分都没听过那玩意 03/09 04:45
126F：推 fig498: 感谢各位大神分享 03/09 07:11
127F：推 sxy67230: 2014左右那个时候确实台湾没什麽DS职缺，再早以前你想 03/09 08:06
128F：→ sxy67230: 玩ML，就去当个algorithm，但台湾公司根本没要什麽高深 03/09 08:06
129F：→ sxy67230: 很屌的algorithm，所以algorithm很常就是做杂工。 03/09 08:06
130F：推 gbd37: 猛 03/09 08:17
131F：推 goldflower: 2015那时出来最爽 到现在应该都小主管了 03/09 13:13
132F：→ goldflower: 更早没缺 更晚人太多 每年自称修过台大李宏毅的课的 03/09 13:15
133F：→ goldflower: 就不知道有多少人了 饱和到不行 03/09 13:15
134F：推 fusen80: 专业分析！！ 03/09 14:22
135F：推 g12288: 中肯 03/09 23:44
136F：推 eric525498: 推产业分析 03/10 12:30
137F：推 usoko: 推 03/12 09:45
138F：推 dsa66253: 先推一个 想请问一下 资工不走最潮的ai 还有哪些领域可 01/24 04:45
139F：→ dsa66253: 以参考呢？感觉板上一堆问前端後端的 都是门槛低的 01/24 04:45