Soft_Job 板


LINE

小弟这几年也刚好在做BI相关工作,也可以分享一下心得. BI广义来看其实包括了 资料储存,ETL,资料呈现这几个阶段. 每一个阶段都有很多不同的工具以及技术可以学习深究. A. 资料储存: 这部分包含了各种资料库,结构资料库,非结构资料库,MPP资料仓储或Hadoop等等 每种资料库又有好几种选择,光挑选合适公司以及业务的资料库就是个学问. 何况资料库又不是放在那边就好,还需要管理跟维护. B. ETL ETL我个人觉得是最繁杂的部分. 当公司业务越来越多时,业务逻辑和报表需求也会呈等比级数增加. 这时候如何安排适当的资料流就相当重要,如何避免重复的表格占空间, 优化各种排程,避免job互相卡资源,如何写出有效正确又快的SQL都相当考验 开发者对於资料表格以及业务的了解. SQL写得好要饭要到老不是乱说的. 管理ETL的工具也很麻烦,我曾经用过商业软体以及 Open source来处理ETL, 使用上需要兼顾弹性(好不好增加job或连结的资料库类型), 管理方便(容不容易管理以及呈现job之间的dependency), 以及错误处理(当坏了该怎麽办,能不能重run和寄出告警). 管理工具本身好不好维护或是有回溯机制也都相当重要. 另外一方面,当资料进到资料库之前也需要做资料清洗,甚至资料重新整理, 也是很常见的事情.如果需要做机器学习,也需要在这个阶段将原始资料整成 机器学习要用的栏位.这些东西说难不难,但是相当繁杂. 当熟习业务之後,也需要协调开发人员以及业务需求者, 让开发人员知道要搜集哪些讯息,才能有效满足业务需求. C. 视觉化 为了帮助人类理解资料,近来资料视觉化也变成很重要的一块. 开发视觉化工具,和开发视觉化报表是两种完全不同的取向. 一般的BI开发者会需要理解业务需求,从资料中拉出适当的栏位转化为报表. 不同的资料类型有不同的呈现方式. 当熟悉之後,还可以加入自己对业务以及资料的理解,从中找出所谓的Insight. 在这个位置上,业务的人没你懂资料,前面处理资料的人没你懂业务, 所以是有机会提出自己的想法以及洞见. 总之BI这一块,目前每个强调资料的公司都需要用到, 其中能搞的东西也非常非常多,虽然职位名称可能没有什麽资料科学家那麽飞逊, 但是其实很多挂资料科学家的大部分时间也是在处理上述这些事情. 而且BI这个位置有机会同时结合技术与商业实务,会让你对公司业务有更多了解. 公司业绩不好或客户流失你也会商务端还要早知道(远目) ※ 引述《pelicanper (派立肯)》之铭言: : 小弟刚好在国外银行做BI,以下是一些心得 : 首先甚麽是Business Intelligence : https://en.wikipedia.org/wiki/Business_intelligence : BI并不是特定的项目或是软体,严格来说应该是企业的一个特定的部门 : 这个部门专注在处理资讯,从汇集资料,分析到呈现都是BI的工作 : 又尤其是中大型企业因为资料的复杂和巨量,BI在近十年来占的地位就越来越重要 : 以我们银行来说,BI服务的客户就是所有银行的员工 : 每天深夜我们的程序会从各个不同系统汇集资料到BI的Data Warehouse : 来源可能是DB2, Mainframe SAS, Oracle, MS Sql, Hadoop...等等 : BI有ETL Developer专门处理这个部分,我们有ActiveBatch这种自动化的软体 : 去排程各种不同软体的程序,通常每天有约一万个程序在跑 : 分析的部分在BI就是根据客户的需求写Report,有的客户对於资料有一定的认识 : 这个时候BI会提供整理好的资料让客户透过Presentation Layer的软体自行运用, : 像是Business Object, Tableau, Power BI,甚至是Excel, : 有的比较单纯的BI会有SAS EG, SAS VA的工程师去写例行性的报表 : 当然也有用Web开发作Portal去整合以上所有的东西在银行内部让所有人都到 : 同一个地方来取资料看报表等等 : 这几年因为Big Data,像我们银行前两年也花一大笔钱做了Hadoop平台 : 很多Predictive Model都要用到很大量的资料去跑,传统的Data Warehouse : 在这个上面就比较吃亏... : 这就是我身处的BI环境,所以严格来说BI包含的范围很广,不过我个人的感觉 : SQL, SAS, EXCEL, R这些主流资料库或是分析语言还是很重要 : 像是BO, Tableau这种现在虽然很多人用但是被取代性相对也高 : Web的话就是Data Visualisation和连接後端的能力要够 : 当然还有相关的PM,BA等等 : 其他像是GIS/Spatial, Data Mining等等就要看企业的需求 : 有的公司把BI当後端比较多,有的都是做Reports : 我到觉得待到好的公司东西学不完,像我的工作内容是整合很多不同BI领域的程序 : 50%都跟SAS有关,30%是传统ETL,10%是WEB,另外10%是分析 : 工作内容非常的充实也很有挑战性 : 至於转职,至少我现在这边看到的都是工作在找人,不是人在找工作 : 以上... : ※ 引述《da7230 (都可以)》之铭言: : : HI大家, : : 小弟写了几年系统,觉得对写程式没什麽热情 : : 最近有个BI的工作机会,想挑战看看 : : 但从写系统转成BI有点惶恐 : : 版上有从事这方面工作的人,可以聊聊工作上的心得吗? : : 担心的点在於 : : 1. 一日BI终身BI : : 2. 很吃domain knowhow 跳槽转职困难 -- (C)lass 【 分组讨论区 】 11 卡漫梦工厂 卡通, 漫画, 动画 [Ckmike] 4 C_J_Artist 作家 Σ日本漫画家专区 [Ckmike] 10 TakahasiShin 作家 ◎****高桥真作品讨论版**** kenshin528 http://bryannotes.blogspot.tw/ 行销研究与资料分析笔记 --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 117.28.233.114
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1493313139.A.316.html
1F:推 fantasydavid: 前几天有教资料科学bootcamp的跟我说米国Data Engin 04/28 01:28
2F:→ fantasydavid: eer其实很缺 04/28 01:28
3F:推 drajan: 哪国不缺data engineer... 04/28 03:48
4F:→ kenshin528: 台湾也缺阿 04/28 07:31
5F:→ robler: 全世界都缺有能力的工程师,台湾却拼命往外赶 04/28 08:21
6F:推 WashFreeID: 是不是台湾企业规模都太小了? 而且那几间大的不重视 04/28 09:13
7F:推 hayabusasean: 谢谢分享~ ^^ 04/28 09:38
8F:推 a12345x: 想问原po这是在台湾还是国外企业会面临的问题? 04/28 09:41
9F:→ kenshin528: 我在外商和台商都做过,BI是基础中的基础,只是看 04/28 10:57
10F:→ kenshin528: 资料量大小和应用的复杂程度 04/28 10:57
11F:→ kenshin528: BI可以拆成好几个职缺包括 Data Engineer, BI Analyst 04/28 10:58
12F:→ kenshin528: Data Scientist Data warehouse admin 等 04/28 10:58
13F:推 cutekid: 推(Y) 04/28 13:50
14F:推 jason91818: 推 04/28 22:22







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Gossiping 或 站内搜寻

TOP