作者pelicanper (派立肯)
看板Soft_Job
标题Re: [请益] 徵才条件需要懂ETL
时间Thu Nov 10 13:14:29 2016
※ 引述《sky800507 (B翰)》之铭言:
: 想请问一下各位前辈,小弟在许多职缺上面都会看到需要懂ETL,一般业界认定的懂ETL的
: 标准大概怎麽看? 有推荐学习的书籍或管道吗,感谢!!
ETL有的时候也可以是ELT,要怎麽做说实在要看施作的环境
Data Warehousing有几种不同的模式,尤其是现在需求和支援的软体都越来越复杂
比较成熟的像是Kimball的Dimension Modeling,大部分搭配Wherescape Red
和MS SQL Server,重点是要把Slow Changing Dimension的观念搞懂
Informatica是属於比较弹性的软体,不会像Wherescape Red跟Kimball绑得那麽死
作为ETL,Data Quality,Data Management都不错,但是缺点是Informatica用的是
Pipeline模式,很多时候效能并不是很好,但是V10以後有Big Data模组可以像是
Scheduler软体(像是ActiveBatch)一样跑在别的平台上,尤其是Hadoop
是可以解决一些效能的问题...
ETL最难的部分是怎麽样可以产生适当的Data Granularity
譬如说给每月和每周的Fact Table可能在ETL的过程中截然不同
Staging做得太鸟也有可能造成资料库负担太重
我个人觉得这个领域需要蛮长一段时间去看到全部的面向
能真的请到ETL的高手是公司的福气
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 202.160.48.168
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1478754873.A.CFA.html
※ 编辑: pelicanper (202.160.48.168), 11/10/2016 13:17:50
1F:推 sky800507: (作笔记),感谢分享 11/10 13:42
2F:推 neo5277: 推分享 11/10 14:32
※ 编辑: pelicanper (202.160.48.168), 11/10/2016 15:32:19
3F:推 drajan: ETL有很多面向 单纯论datawarehousing 可以用Apache Kylin 11/10 18:09
4F:推 kenshin528: ETL 很广的 而且你说的工具有些小公司也不会用 11/11 09:44