Soft_Job 板


LINE

开门见山:如果是有志想成为资料科学家或工程师的话,不要花,不值得。 连版上可能推的资策会大数据专班.....都不要去(真的要我宁可选Java EE班)。 恒逸我没仔细研究,但应该没差多少。 我是一位对资料处理有兴趣的资料工程师,简单说就是数据领域的黑手,不是帅帅的科学 家XD。但如果想一起当黑手的,我来说说有哪些东西可以先去看看有没有兴趣,再往下走: (一)资料源: Apache Flume Apache Kafka LogStash 负责接资料的,目前又以streaming为大宗: Flume比较适合整合Hadoop生态系; Kafka则是偏SMACK架构; logStash则是ELK自成一派。 当然这不是绝对,而且可以互相接来接去,像我前一个案子也有Kafka->Flume->HDFS/HBase/Avro串来串去的。 我用这3套目前可以满足大部分的streaming收资料的需求。 Flink没时间碰QQ 阿批次勒?...HDFS API XD~ 选一套的话:我选Kafka。搭配语言:Java Client API (二)资料处理引擎: MRv2(MapReduce) Spark 这也是大家,即使是非业界也常常听到的term,但要讲的仔细也是好几本书的内容了.. 例如批次处理该用Spark好还是MapReduce。串流处理的话我听过Spark Streaming,那跟 Storm又差在哪?什麽是micro-batch? 选一套的话,我选Spark,因为目前的应用还是单位时间点内记忆体能负载的量。还没玩 过几个PB的.....不然选择可能不同了。 但有点尴尬的是,Spark用Java,即便是 Lambda写起来也是有点憋屈.. 所以我会推荐新手用Spark+Python+jupiter。 想让自己被Funcational Programming玩的,可以选Spark in Scala(大推) 现在在IT铁人赛有写一点Spark +Scala的教学,有兴趣的可以看看(招手): http://ithelp.ithome.com.tw/users/20103839/ironman/1210 (三)结构化/半结构化查询工具(Query Engine): Hive Impala (也开源了) Spark SQL 这几套我对Impala跟Spark SQL比较有研究而已。这边就是SQL语言配的上场的地方啦!! 可以用简单的SQL查询当然开心啦,但是要注意的是先查哪些语法没有支援.... 不管哪一套都要注意"别帮他当作资料库来用",他们是查询工具不是资料库! 另外注意所谓的Partition的设计,以及选用的档案格式,例如Parquet/Avro等.... 扯远了.... 这几套与BI也都有良好的介接,Tableau/Qlik View不是问题 选一套的话,我选SparkSQL/Impala 搭配SQL语言以及各种JDBC/ODBC (四)分散式储存系统: HDFS Kafka S3 最正宗的Hadoop肯定会用到HDFS,但也可以把资料暂存在Kafka上,处理完後就送进NoSQL ,另外S3也是好物,只是没机会碰到。 选一套的话,还是从HDFS+Java API开始吧 (五)分散式资料库: HBase MongoDB ElasticSearch Cassandra 恩...没有MySQ, MariaDB, PostgreSQL, MS SQL更没有Oracle XDDD 这几套我都很爱,只是MongoDB我是接一个小系统上面有跑,没有实际开发应用经验。 资料库有时候就端看你要走哪种应用了: Hadoop正宗就是搭配HBase,想用SQL上面可以套一个PhoenixDB,设计就是在玩Primary Key。 ElasticSearch:全文检索断词那方面的应用,也就是ELK中的E,再搭配一个kibana整个好用。 Cassandra::与Spark整合良好,去正规化的Data modeling与P2P的架构整个是我的爱。 选一套的话,我私心选Cassadnra + Java/Scala Client~XD (六)周边: Zookeeper, Hue, Yarn, Mesos。 还有太多周边了商品了XDDD,Zookeeper可以要懂一些,HBase跟Kafka都有用 ------------------------------------------------------------------------------------ OK就先到这里了,上面的名词可以Google看看,都是一个框架或工具,看看有没有兴趣。 另外考证照有没有用,我觉是觉得有用啦,但我一张MS还是Oracle的都没有XD: Cloudera Certified Developer for Apache Hadoop (CCDH) Cloudera Certified Specialist in Apache HBase (CCSHB) Cloudera Certified Administrator for Apache Hadoop (CCAH) Certified Developer on Apache Cassandra PS: 我是电子系的,天下无难事... 小小资料工程师 一鞠躬 ※ 引述《s00771book (320)》之铭言: : 想问问前辈们 : 目前小妹的工作只是个 : 用BI cognos 拉资料做数据分析的助理 : 再用Excel枢纽分析 写写函数 : 做报告给主管看的工作 : 薪水少之又少 也不算是一技之长 : 根本不足以与大数据相提并论 : 目前向往大数据工作的方向 : (也是很有未来的工作 大陆已经很成熟了) : 查看了104人力银行 : 大数据分析工作需要的条件: : MS SQL 资料探勘 R语言 Hedoop : 所以我去巨匠谘询了一下 : 课程规划师说要学 MCSA MCSE : 再考微软证照70-461.462.463.464.465 : 才算是完全学会这套软体 : 和证明给面试官看 : 但是学费竟然快要十万 : 想请问有在做这方面工作的朋友们 : 真的值得花这笔钱吗? : P.S.我只是个国立科大 企管+金融的学士而已 : 没有漂亮的学历 只能学一技之长补足自己 : 也不是资工 资管的科系的 : 希望前辈们能给我建议 谢谢你们>////< --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.115.45.90
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1482735733.A.2FA.html
1F:→ yolasiku: BI我都用台语念 12/26 15:06
2F:→ beaprayguy: 你有做过10pb 的 Lab吗? 12/26 15:16
3F:→ beaprayguy: 好奇? 12/26 15:16
4F:→ beaprayguy: 而且资料源有影像 图片 文字 档案 你探勘的方法我也 12/26 15:17
5F:→ beaprayguy: 觉得很有趣 12/26 15:17
6F:→ v9290026: 没有,我最大的sclae不过几百T(跪 12/26 15:19
7F:→ viper9709: 推~感谢分享 12/26 15:42
8F:推 blackacre: 感谢分享 12/26 15:43
9F:推 dreamnook: 感谢分享OwO 12/26 16:06
10F:推 InfinitySA: 资料源甚麽格式都有吧 Q.Q 12/26 16:25
11F:推 vn509942: 很多好玩的东东:D 12/26 17:26
12F:推 popxpopxpop: 推 12/26 18:47
13F:推 Ekmund: 请受小弟一拜 12/26 19:42
14F:推 chen1025: 推 12/26 20:22
15F:推 chen1025: 这领域大部分的时间都是在资料整理居多 资料整理好後 再 12/26 20:25
16F:→ chen1025: 放进自己的模型去跑 12/26 20:25
17F:推 Kz: 谢谢分享(∩▽∩) 12/26 20:28
※ 编辑: v9290026 (59.115.45.90), 12/26/2016 21:10:47
18F:推 cacadeon: 感谢,很广泛的整理与分享! 12/26 21:37
19F:→ remmurds: 工具真的太多太杂了...看得眼花撩乱 @@ 12/26 21:54
20F:推 kenshin528: 真大大 12/26 22:05
21F:推 frankshih: 感谢分享 12/26 23:27
22F:推 TpBp: 大数据要学的很多耶~ 12/27 01:12
23F:推 tds7033: 推整理~ 12/27 07:59
24F:推 brian980466: 这篇就是大数据中的资料处理了 12/27 15:17
25F:推 Bookdaily: 感谢分享 12/29 02:50
26F:推 james732: 推 12/29 13:30
27F:推 qDaniel: 这篇推推 12/31 00:53
28F:推 jyhfengli: 大部分都有玩到耶 12/31 07:15







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:iOS 或 站内搜寻

TOP