Data Engineer是属於比较上游的工作 早期relational database当道的时候,DE的工作主要是整合Data Sources 到Data Warehouse,所以像是金融界很常用的Mainframe SAS,或是SQL Server IBM DB2等等,DE通常都要会资料库语言外加一些ETL的知识 像是SQL, SAS, kimball model等等, 对於Physical资料库也至少要有一定程度的理解 不过近年来因为Big Data的趋势,很多传统的ETL的缺点像是开发维护的时间人力 无法大量处理即时资料或是unstructured data, staging 太过复杂等等问题 很多企业都导向更现代化的资料库,最近窜起的Snowflake就是其中一个例子 跟Google Big Query类似,两者都是凭藉云端储存和处理速度的优势去快速且大量处理 各种不同的资料,譬如你可以直接在Query里面连结SQL Server和Google Sheet 不需要透过ETL,最近又有一些新的云端服务可以直接Pipeline到Snowflake Alooma就可以直接让你连像是Salesforce, Marketo, Google Analytics等等 用Python的Code Engine直接把最後的资料输出到Snowflake 最重要的这是Realtime... 讲这麽多就是要表达DE这个工作也一直再转变,现在有一种说法就是 Business Intelligence也慢慢走下坡,因为现在的科技也不需要去养一个BI Team 对DE有兴趣可以先多多了解产业的需求和趋势,不过好的DE还是要对传统DB,ETL 和新的Cloud Storage都有所涉猎,而且这应该无法速成... ※ 引述《sssh5566 ()》之铭言： : 之前听一堆广告说ML的缺很多就入坑了 : 但爬了一堆文被一堆人劝退找data scientist 的工作 : 朋友推荐可以找看看Data Engineer : 目前正在考虑中 : 也在考虑报名这间Bootcamp : https://imgur.com/2fj4jtA : https://imgur.com/dVIoKD5 : https://imgur.com/6kpcO3n : https://imgur.com/mwLkOLC : 课表大概长这样 : 朋友是说SQL sparks Hadoop AWS : 这些对找data Engineer的工作有帮助 : 但是由於之前都在接触Machine learning、deep learning的东西 : 只知道怎麽调参数和建model而已 : 也不太清楚是否SQL Sparks Hadoop Aws这些东西是否有趣 : 以及更重要的是，能否训练一两个月後就能找到工作 : 想问下北美 Data Engineer的职缺是否和Front-end一样 : 很容易让非本科系受训後转行? : (没身分问题) : 毕竟念web dev的几乎每个去受训後3~6个月都能保障找到工作 : 但爬文Data Engineer无论是中文还是英文资料都挺少的 : 有点不懂既然Data Scienist 门槛那麽高，为何还一堆bootcamp、MOOC、线上课程? --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 121.99.159.139 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1521365348.A.330.html ※ 编辑: pelicanper (121.99.159.139), 03/18/2018 19:51:10