作者jojochuang (修身.齐家.治国.平天下)
看板Soft_Job
标题Re: [请益] 值得花十万到巨匠 学大数据软体吗?
时间Fri Dec 30 08:05:56 2016
看到这串文觉得手痒,想跟各位分享我自己看到的big data.
如果有理解错误的地方请纠正。我的背景是distributed systems不是data science.
我自己的感觉big data就是两个部分:storage跟compute
其实一般企业都有非常大量的资料要处理,但以前big data没有起飞,
是因为要储存、处理、分析巨量资料,只有proprietary solution:
proprietary storage像NetApp, EMC之类
proprietary database像IBM, Oracle, Teradata等等
这些solution都很贵,所以放进database里的资料必须筛选
定期可能还得把旧的、可能不是很重要的data砍掉或放archive
我的观察啦现在big data能起飞,最主要是Hadoop跟其他处理引擎都是open source
而且不需要特殊的电脑硬体及网路设备
一般企业如果技术比较厉害的就自己玩,要不然跟Hadoop vendor买技术支援
单位储存成本只是Oracle之类的database 十分之一不到 要扩充也很容易
所以现在data就全部通通丢进cluster里面 搞不好以後会用到 反正很便宜
就应用来说的话,big data有几种
(1) analytical database
Hive, Impala, Spark SQL等等 做ETL BI之类的 这个是Hadoop最一开始的应用
(2) operational database
Kafka, HBase, Kudu等等 可以做线上服务
(3) data science & machine learning
Spark MLlib等等 这个现在越来愈多人用
问题就是你想要做什麽样的应用.
有人说big data是hype,其实真的不是。我每天接触到的客户,
他们的cluster 动辄数PB甚至数十PB...
但如果你的data可以用MySQL就装得下的话...那就当我没说好了 XDD
※ 引述《v9290026 (CH)》之铭言:
: 开门见山:如果是有志想成为资料科学家或工程师的话,不要花,不值得。
: 连版上可能推的资策会大数据专班.....都不要去(真的要我宁可选Java EE班)。
: 恒逸我没仔细研究,但应该没差多少。
: 我是一位对资料处理有兴趣的资料工程师,简单说就是数据领域的黑手,不是帅帅的科学
: 家XD。但如果想一起当黑手的,我来说说有哪些东西可以先去看看有没有兴趣,再往下走:
: (一)资料源:
: Apache Flume
: Apache Kafka
: LogStash
: 负责接资料的,目前又以streaming为大宗:
: Flume比较适合整合Hadoop生态系; Kafka则是偏SMACK架构; logStash则是ELK自成一派。
: 当然这不是绝对,而且可以互相接来接去,像我前一个案子也有Kafka->Flume->HDFS/HBase/Avro串来串去的。
: 我用这3套目前可以满足大部分的streaming收资料的需求。
: Flink没时间碰QQ
: 阿批次勒?...HDFS API XD~
: 选一套的话:我选Kafka。搭配语言:Java Client API
: (二)资料处理引擎:
: MRv2(MapReduce)
: Spark
: 这也是大家,即使是非业界也常常听到的term,但要讲的仔细也是好几本书的内容了..
: 例如批次处理该用Spark好还是MapReduce。串流处理的话我听过Spark Streaming,那跟
: Storm又差在哪?什麽是micro-batch?
: 选一套的话,我选Spark,因为目前的应用还是单位时间点内记忆体能负载的量。还没玩
: 过几个PB的.....不然选择可能不同了。
: 但有点尴尬的是,Spark用Java,即便是 Lambda写起来也是有点憋屈..
: 所以我会推荐新手用Spark+Python+jupiter。
: 想让自己被Funcational Programming玩的,可以选Spark in Scala(大推)
: 现在在IT铁人赛有写一点Spark +Scala的教学,有兴趣的可以看看(招手):
: http://ithelp.ithome.com.tw/users/20103839/ironman/1210
: (三)结构化/半结构化查询工具(Query Engine):
: Hive
: Impala (也开源了)
: Spark SQL
: 这几套我对Impala跟Spark SQL比较有研究而已。这边就是SQL语言配的上场的地方啦!!
: 可以用简单的SQL查询当然开心啦,但是要注意的是先查哪些语法没有支援....
: 不管哪一套都要注意"别帮他当作资料库来用",他们是查询工具不是资料库!
: 另外注意所谓的Partition的设计,以及选用的档案格式,例如Parquet/Avro等....
: 扯远了....
: 这几套与BI也都有良好的介接,Tableau/Qlik View不是问题
: 选一套的话,我选SparkSQL/Impala 搭配SQL语言以及各种JDBC/ODBC
: (四)分散式储存系统:
: HDFS
: Kafka
: S3
: 最正宗的Hadoop肯定会用到HDFS,但也可以把资料暂存在Kafka上,处理完後就送进NoSQL
: ,另外S3也是好物,只是没机会碰到。
: 选一套的话,还是从HDFS+Java API开始吧
: (五)分散式资料库:
: HBase
: MongoDB
: ElasticSearch
: Cassandra
: 恩...没有MySQ, MariaDB, PostgreSQL, MS SQL更没有Oracle XDDD
: 这几套我都很爱,只是MongoDB我是接一个小系统上面有跑,没有实际开发应用经验。
: 资料库有时候就端看你要走哪种应用了:
: Hadoop正宗就是搭配HBase,想用SQL上面可以套一个PhoenixDB,设计就是在玩Primary
: Key。
: ElasticSearch:全文检索断词那方面的应用,也就是ELK中的E,再搭配一个kibana整个好用。
: Cassandra::与Spark整合良好,去正规化的Data modeling与P2P的架构整个是我的爱。
: 选一套的话,我私心选Cassadnra + Java/Scala Client~XD
: (六)周边:
: Zookeeper, Hue, Yarn, Mesos。
: 还有太多周边了商品了XDDD,Zookeeper可以要懂一些,HBase跟Kafka都有用
: ------------------------------------------------------------------------------------
: OK就先到这里了,上面的名词可以Google看看,都是一个框架或工具,看看有没有兴趣。
: 另外考证照有没有用,我觉是觉得有用啦,但我一张MS还是Oracle的都没有XD:
: Cloudera Certified Developer for Apache Hadoop (CCDH)
: Cloudera Certified Specialist in Apache HBase (CCSHB)
: Cloudera Certified Administrator for Apache Hadoop (CCAH)
: Certified Developer on Apache Cassandra
: PS: 我是电子系的,天下无难事...
: 小小资料工程师 一鞠躬
: ※ 引述《s00771book (320)》之铭言:
: : 想问问前辈们
: : 目前小妹的工作只是个
: : 用BI cognos 拉资料做数据分析的助理
: : 再用Excel枢纽分析 写写函数
: : 做报告给主管看的工作
: : 薪水少之又少 也不算是一技之长
: : 根本不足以与大数据相提并论
: : 目前向往大数据工作的方向
: : (也是很有未来的工作 大陆已经很成熟了)
: : 查看了104人力银行
: : 大数据分析工作需要的条件:
: : MS SQL 资料探勘 R语言 Hedoop
: : 所以我去巨匠谘询了一下
: : 课程规划师说要学 MCSA MCSE
: : 再考微软证照70-461.462.463.464.465
: : 才算是完全学会这套软体
: : 和证明给面试官看
: : 但是学费竟然快要十万
: : 想请问有在做这方面工作的朋友们
: : 真的值得花这笔钱吗?
: : P.S.我只是个国立科大 企管+金融的学士而已
: : 没有漂亮的学历 只能学一技之长补足自己
: : 也不是资工 资管的科系的
: : 希望前辈们能给我建议 谢谢你们>////<
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 24.6.222.140
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1483056358.A.1AA.html
1F:推 exthrash: Cloudera...猛 12/30 08:13
※ 编辑: jojochuang (24.6.222.140), 12/30/2016 08:18:56
2F:推 v9290026: 不知道kudu这一年发展的如何了~ 12/30 08:46
3F:推 InfinitySA: 推 观念真的不错 12/30 09:06
4F:→ InfinitySA: 原po专业的 XD 12/30 09:07
5F:推 InfinitySA: 话说(3)我就真的比较不知道 最近很夯的深度学习? XD 12/30 09:11
6F:推 longlyeagle: SparkML focus on SVM, there is no Deep Leaning 12/30 09:28
7F:→ longlyeagle: in SparkML 12/30 09:29
8F:→ longlyeagle: However, there are a lot of open source projects 12/30 09:30
9F:推 beaprayguy: 这才是10pb处理方式-_-....叫人学MySQL SqlServer根 12/30 09:36
10F:→ beaprayguy: 本脑子进水 12/30 09:36
11F:推 v9290026: DL可以喝个Caffe 12/30 09:45
13F:→ jojochuang: Intel好像也想做deep learning 12/30 10:00
14F:推 ftrain: 都是一堆骗人的东西而已 12/30 10:40