作者Leon (Achilles)
看板Soft_Job
标题Re: [请益] 值得花十万到巨匠 学大数据软体吗?
时间Fri Dec 30 16:21:47 2016
嗯.. 我来分享一下美国的状况.
我在美国西岸工作, 之前在某中小型 startup 带 Data Science 组
现在换到某大公司做事.
广义的来说 Big Data 是因为现在的系统产出了许多资料.
尤其是开网站的 internet company, 以及手机相关周边.
所以这行业现在需求起来了.
我的建议是:
纯做 Data science modeler 会比较辛苦,
因为这个入门的门槛很高, 你也不容易去证明自己的东西有用.
(我在以前的公司招人, 只找名校PhD)
※ 引述《jojochuang (修身.齐家.治国.平天下)》之铭言:
: 看到这串文觉得手痒,想跟各位分享我自己看到的big data.
: 如果有理解错误的地方请纠正。我的背景是distributed systems不是data science.
: 我自己的感觉big data就是两个部分:storage跟compute
: 其实一般企业都有非常大量的资料要处理,但以前big data没有起飞,
: 是因为要储存、处理、分析巨量资料,只有proprietary solution:
: proprietary storage像NetApp, EMC之类
: proprietary database像IBM, Oracle, Teradata等等
: 这些solution都很贵,所以放进database里的资料必须筛选
: 定期可能还得把旧的、可能不是很重要的data砍掉或放archive
: 我的观察啦现在big data能起飞,最主要是Hadoop跟其他处理引擎都是open source
: 而且不需要特殊的电脑硬体及网路设备
: 一般企业如果技术比较厉害的就自己玩,要不然跟Hadoop vendor买技术支援
: 单位储存成本只是Oracle之类的database 十分之一不到 要扩充也很容易
: 所以现在data就全部通通丢进cluster里面 搞不好以後会用到 反正很便宜
嗯.. 不是这样说的.
Hadoop 珍贵的地方在於 MapReduce open source implementation,
和 DB 没有任何关系.
另外, 现在一堆公司有这需求, 是因为internet的关系
资料多了, 需要存放 / 处里
所以才跑出来那麽多 Hadoop service company.
除非有特殊需求, 才会自己建 Hadoop cluster
不然用 Cloud 其实省多了.
美国人工贵, 除非规模够, 不然养几个人专门搞 infra
那个钱拿去买 cloud 划算的多.
: 就应用来说的话,big data有几种
: (1) analytical database
: Hive, Impala, Spark SQL等等 做ETL BI之类的 这个是Hadoop最一开始的应用
: (2) operational database
: Kafka, HBase, Kudu等等 可以做线上服务
这.. 唉, 如果是比较严谨的公司
ETL pipeline 应该还是用 Hadoop 或是 Spark 做得
比较不可能用 SQL-like 直接去操作.
另外, Kafka 是个 Streaming solution,
他不能 search, 他只有 offset 去取资料.
严格地说不能算是 DB
: (3) data science & machine learning
: Spark MLlib等等 这个现在越来愈多人用
: 问题就是你想要做什麽样的应用.
: 有人说big data是hype,其实真的不是。我每天接触到的客户,
: 他们的cluster 动辄数PB甚至数十PB...
: 但如果你的data可以用MySQL就装得下的话...那就当我没说好了 XDD
几个有趣的地方:
有人把 Spark 和 Tensorflow 弄起来了. 我满想知道这会怎麽发展.
Facebook DB 的底层是用 MySql 做得..
: ※ 引述《v9290026 (CH)》之铭言:
: : 开门见山:如果是有志想成为资料科学家或工程师的话,不要花,不值得。
: : 连版上可能推的资策会大数据专班.....都不要去(真的要我宁可选Java EE班)。
: : 恒逸我没仔细研究,但应该没差多少。
: : 我是一位对资料处理有兴趣的资料工程师,简单说就是数据领域的黑手,不是帅帅的科学
: : 家XD。但如果想一起当黑手的,我来说说有哪些东西可以先去看看有没有兴趣,再往下走:
: : (一)资料源:
: : Apache Flume
: : Apache Kafka
: : LogStash
: : 负责接资料的,目前又以streaming为大宗:
: : Flume比较适合整合Hadoop生态系; Kafka则是偏SMACK架构; logStash则是ELK自成一派。
: : 当然这不是绝对,而且可以互相接来接去,像我前一个案子也有Kafka->Flume->HDFS/HBase/Avro串来串去的。
: : 我用这3套目前可以满足大部分的streaming收资料的需求。
: : Flink没时间碰QQ
: : 阿批次勒?...HDFS API XD~
: : 选一套的话:我选Kafka。搭配语言:Java Client API
: : (二)资料处理引擎:
: : MRv2(MapReduce)
: : Spark
: : 这也是大家,即使是非业界也常常听到的term,但要讲的仔细也是好几本书的内容了..
: : 例如批次处理该用Spark好还是MapReduce。串流处理的话我听过Spark Streaming,那跟
: : Storm又差在哪?什麽是micro-batch?
: : 选一套的话,我选Spark,因为目前的应用还是单位时间点内记忆体能负载的量。还没玩
: : 过几个PB的.....不然选择可能不同了。
: : 但有点尴尬的是,Spark用Java,即便是 Lambda写起来也是有点憋屈..
: : 所以我会推荐新手用Spark+Python+jupiter。
: : 想让自己被Funcational Programming玩的,可以选Spark in Scala(大推)
: : 现在在IT铁人赛有写一点Spark +Scala的教学,有兴趣的可以看看(招手):
: : http://ithelp.ithome.com.tw/users/20103839/ironman/1210
: : (三)结构化/半结构化查询工具(Query Engine):
: : Hive
: : Impala (也开源了)
: : Spark SQL
: : 这几套我对Impala跟Spark SQL比较有研究而已。这边就是SQL语言配的上场的地方啦!!
: : 可以用简单的SQL查询当然开心啦,但是要注意的是先查哪些语法没有支援....
: : 不管哪一套都要注意"别帮他当作资料库来用",他们是查询工具不是资料库!
: : 另外注意所谓的Partition的设计,以及选用的档案格式,例如Parquet/Avro等....
: : 扯远了....
: : 这几套与BI也都有良好的介接,Tableau/Qlik View不是问题
: : 选一套的话,我选SparkSQL/Impala 搭配SQL语言以及各种JDBC/ODBC
: : (四)分散式储存系统:
: : HDFS
: : Kafka
: : S3
: : 最正宗的Hadoop肯定会用到HDFS,但也可以把资料暂存在Kafka上,处理完後就送进NoSQL
: : ,另外S3也是好物,只是没机会碰到。
: : 选一套的话,还是从HDFS+Java API开始吧
: : (五)分散式资料库:
: : HBase
: : MongoDB
: : ElasticSearch
: : Cassandra
: : 恩...没有MySQ, MariaDB, PostgreSQL, MS SQL更没有Oracle XDDD
: : 这几套我都很爱,只是MongoDB我是接一个小系统上面有跑,没有实际开发应用经验。
: : 资料库有时候就端看你要走哪种应用了:
: : Hadoop正宗就是搭配HBase,想用SQL上面可以套一个PhoenixDB,设计就是在玩Primary
: : Key。
: : ElasticSearch:全文检索断词那方面的应用,也就是ELK中的E,再搭配一个kibana整个好用。
: : Cassandra::与Spark整合良好,去正规化的Data modeling与P2P的架构整个是我的爱。
: : 选一套的话,我私心选Cassadnra + Java/Scala Client~XD
: : (六)周边:
: : Zookeeper, Hue, Yarn, Mesos。
: : 还有太多周边了商品了XDDD,Zookeeper可以要懂一些,HBase跟Kafka都有用
: : ------------------------------------------------------------------------------------
: : OK就先到这里了,上面的名词可以Google看看,都是一个框架或工具,看看有没有兴趣。
: : 另外考证照有没有用,我觉是觉得有用啦,但我一张MS还是Oracle的都没有XD:
: : Cloudera Certified Developer for Apache Hadoop (CCDH)
: : Cloudera Certified Specialist in Apache HBase (CCSHB)
: : Cloudera Certified Administrator for Apache Hadoop (CCAH)
: : Certified Developer on Apache Cassandra
: : PS: 我是电子系的,天下无难事...
: : 小小资料工程师 一鞠躬
--
赵客缦胡缨,吾钩霜雪明。银鞍照白马,飒沓如流星。
十步杀一人,千里不留行。是了拂衣去,深藏身与名。
闲过信陵饮,脱剑膝前横。将炙啖朱亥,持觞劝侯赢。
三杯吐然诺,五岳倒为轻。眼花耳热後,意气素霓生。
就赵挥金锤,邯郸先震惊。千秋二壮士,烜赫大梁城。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 23.242.137.154
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1483086110.A.86D.html
1F:→ pttworld: 还没有国内公司代表,答案很明显。 12/30 16:33
2F:→ manaup: 产业热度由业务代表的衬杉透明度和裙子长度决定 12/30 16:48
3F:推 AOK: 台湾人工便宜,买cloud 不如找几个工程师来架一套 12/30 17:47
4F:推 Kazimir: spark和tensorflow那个是用spark 调超常数那件吗? 12/30 19:51
5F:推 ACRRBYEK: 确实价值在於分散式运算.. 12/30 21:35
6F:→ ACRRBYEK: 国内还是感觉很多是以MIS角度想导入... 12/30 21:36
7F:→ beaprayguy: 不从Mis切入怎麽算成本,分散运算可以报价吗 12/30 22:30
8F:推 beaprayguy: 台湾金融业的确是用储存空间来看待,具有可分散是运 12/30 22:32
9F:→ beaprayguy: 算附加 12/30 22:32
10F:推 exthrash: 题外话 有人知道facebook和linkedin做ML是用spark mlib 12/31 14:48
11F:→ exthrash: 还是他们有自己的系统呢? 12/31 14:48
12F:推 wet: Linkedin是自己做察一下photon-ML 01/01 00:03
13F:推 exthrash: Thanks! 01/01 15:13