Soft_Job 板


LINE

嗯.. 我来分享一下美国的状况. 我在美国西岸工作, 之前在某中小型 startup 带 Data Science 组 现在换到某大公司做事. 广义的来说 Big Data 是因为现在的系统产出了许多资料. 尤其是开网站的 internet company, 以及手机相关周边. 所以这行业现在需求起来了. 我的建议是: 纯做 Data science modeler 会比较辛苦, 因为这个入门的门槛很高, 你也不容易去证明自己的东西有用. (我在以前的公司招人, 只找名校PhD) ※ 引述《jojochuang (修身.齐家.治国.平天下)》之铭言: : 看到这串文觉得手痒,想跟各位分享我自己看到的big data. : 如果有理解错误的地方请纠正。我的背景是distributed systems不是data science. : 我自己的感觉big data就是两个部分:storage跟compute : 其实一般企业都有非常大量的资料要处理,但以前big data没有起飞, : 是因为要储存、处理、分析巨量资料,只有proprietary solution: : proprietary storage像NetApp, EMC之类 : proprietary database像IBM, Oracle, Teradata等等 : 这些solution都很贵,所以放进database里的资料必须筛选 : 定期可能还得把旧的、可能不是很重要的data砍掉或放archive : 我的观察啦现在big data能起飞,最主要是Hadoop跟其他处理引擎都是open source : 而且不需要特殊的电脑硬体及网路设备 : 一般企业如果技术比较厉害的就自己玩,要不然跟Hadoop vendor买技术支援 : 单位储存成本只是Oracle之类的database 十分之一不到 要扩充也很容易 : 所以现在data就全部通通丢进cluster里面 搞不好以後会用到 反正很便宜 嗯.. 不是这样说的. Hadoop 珍贵的地方在於 MapReduce open source implementation, 和 DB 没有任何关系. 另外, 现在一堆公司有这需求, 是因为internet的关系 资料多了, 需要存放 / 处里 所以才跑出来那麽多 Hadoop service company. 除非有特殊需求, 才会自己建 Hadoop cluster 不然用 Cloud 其实省多了. 美国人工贵, 除非规模够, 不然养几个人专门搞 infra 那个钱拿去买 cloud 划算的多. : 就应用来说的话,big data有几种 : (1) analytical database : Hive, Impala, Spark SQL等等 做ETL BI之类的 这个是Hadoop最一开始的应用 : (2) operational database : Kafka, HBase, Kudu等等 可以做线上服务 这.. 唉, 如果是比较严谨的公司 ETL pipeline 应该还是用 Hadoop 或是 Spark 做得 比较不可能用 SQL-like 直接去操作. 另外, Kafka 是个 Streaming solution, 他不能 search, 他只有 offset 去取资料. 严格地说不能算是 DB : (3) data science & machine learning : Spark MLlib等等 这个现在越来愈多人用 : 问题就是你想要做什麽样的应用. : 有人说big data是hype,其实真的不是。我每天接触到的客户, : 他们的cluster 动辄数PB甚至数十PB... : 但如果你的data可以用MySQL就装得下的话...那就当我没说好了 XDD 几个有趣的地方: 有人把 Spark 和 Tensorflow 弄起来了. 我满想知道这会怎麽发展. Facebook DB 的底层是用 MySql 做得.. : ※ 引述《v9290026 (CH)》之铭言: : : 开门见山:如果是有志想成为资料科学家或工程师的话,不要花,不值得。 : : 连版上可能推的资策会大数据专班.....都不要去(真的要我宁可选Java EE班)。 : : 恒逸我没仔细研究,但应该没差多少。 : : 我是一位对资料处理有兴趣的资料工程师,简单说就是数据领域的黑手,不是帅帅的科学 : : 家XD。但如果想一起当黑手的,我来说说有哪些东西可以先去看看有没有兴趣,再往下走: : : (一)资料源: : : Apache Flume : : Apache Kafka : : LogStash : : 负责接资料的,目前又以streaming为大宗: : : Flume比较适合整合Hadoop生态系; Kafka则是偏SMACK架构; logStash则是ELK自成一派。 : : 当然这不是绝对,而且可以互相接来接去,像我前一个案子也有Kafka->Flume->HDFS/HBase/Avro串来串去的。 : : 我用这3套目前可以满足大部分的streaming收资料的需求。 : : Flink没时间碰QQ : : 阿批次勒?...HDFS API XD~ : : 选一套的话:我选Kafka。搭配语言:Java Client API : : (二)资料处理引擎: : : MRv2(MapReduce) : : Spark : : 这也是大家,即使是非业界也常常听到的term,但要讲的仔细也是好几本书的内容了.. : : 例如批次处理该用Spark好还是MapReduce。串流处理的话我听过Spark Streaming,那跟 : : Storm又差在哪?什麽是micro-batch? : : 选一套的话,我选Spark,因为目前的应用还是单位时间点内记忆体能负载的量。还没玩 : : 过几个PB的.....不然选择可能不同了。 : : 但有点尴尬的是,Spark用Java,即便是 Lambda写起来也是有点憋屈.. : : 所以我会推荐新手用Spark+Python+jupiter。 : : 想让自己被Funcational Programming玩的,可以选Spark in Scala(大推) : : 现在在IT铁人赛有写一点Spark +Scala的教学,有兴趣的可以看看(招手): : : http://ithelp.ithome.com.tw/users/20103839/ironman/1210 : : (三)结构化/半结构化查询工具(Query Engine): : : Hive : : Impala (也开源了) : : Spark SQL : : 这几套我对Impala跟Spark SQL比较有研究而已。这边就是SQL语言配的上场的地方啦!! : : 可以用简单的SQL查询当然开心啦,但是要注意的是先查哪些语法没有支援.... : : 不管哪一套都要注意"别帮他当作资料库来用",他们是查询工具不是资料库! : : 另外注意所谓的Partition的设计,以及选用的档案格式,例如Parquet/Avro等.... : : 扯远了.... : : 这几套与BI也都有良好的介接,Tableau/Qlik View不是问题 : : 选一套的话,我选SparkSQL/Impala 搭配SQL语言以及各种JDBC/ODBC : : (四)分散式储存系统: : : HDFS : : Kafka : : S3 : : 最正宗的Hadoop肯定会用到HDFS,但也可以把资料暂存在Kafka上,处理完後就送进NoSQL : : ,另外S3也是好物,只是没机会碰到。 : : 选一套的话,还是从HDFS+Java API开始吧 : : (五)分散式资料库: : : HBase : : MongoDB : : ElasticSearch : : Cassandra : : 恩...没有MySQ, MariaDB, PostgreSQL, MS SQL更没有Oracle XDDD : : 这几套我都很爱,只是MongoDB我是接一个小系统上面有跑,没有实际开发应用经验。 : : 资料库有时候就端看你要走哪种应用了: : : Hadoop正宗就是搭配HBase,想用SQL上面可以套一个PhoenixDB,设计就是在玩Primary : : Key。 : : ElasticSearch:全文检索断词那方面的应用,也就是ELK中的E,再搭配一个kibana整个好用。 : : Cassandra::与Spark整合良好,去正规化的Data modeling与P2P的架构整个是我的爱。 : : 选一套的话,我私心选Cassadnra + Java/Scala Client~XD : : (六)周边: : : Zookeeper, Hue, Yarn, Mesos。 : : 还有太多周边了商品了XDDD,Zookeeper可以要懂一些,HBase跟Kafka都有用 : : ------------------------------------------------------------------------------------ : : OK就先到这里了,上面的名词可以Google看看,都是一个框架或工具,看看有没有兴趣。 : : 另外考证照有没有用,我觉是觉得有用啦,但我一张MS还是Oracle的都没有XD: : : Cloudera Certified Developer for Apache Hadoop (CCDH) : : Cloudera Certified Specialist in Apache HBase (CCSHB) : : Cloudera Certified Administrator for Apache Hadoop (CCAH) : : Certified Developer on Apache Cassandra : : PS: 我是电子系的,天下无难事... : : 小小资料工程师 一鞠躬 -- 赵客缦胡缨,吾钩霜雪明。银鞍照白马,飒沓如流星。 十步杀一人,千里不留行。是了拂衣去,深藏身与名。 闲过信陵饮,脱剑膝前横。将炙啖朱亥,持觞劝侯赢。 三杯吐然诺,五岳倒为轻。眼花耳热後,意气素霓生。 就赵挥金锤,邯郸先震惊。千秋二壮士,烜赫大梁城。 --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 23.242.137.154
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1483086110.A.86D.html
1F:→ pttworld: 还没有国内公司代表,答案很明显。 12/30 16:33
2F:→ manaup: 产业热度由业务代表的衬杉透明度和裙子长度决定 12/30 16:48
3F:推 AOK: 台湾人工便宜,买cloud 不如找几个工程师来架一套 12/30 17:47
4F:推 Kazimir: spark和tensorflow那个是用spark 调超常数那件吗? 12/30 19:51
5F:推 ACRRBYEK: 确实价值在於分散式运算.. 12/30 21:35
6F:→ ACRRBYEK: 国内还是感觉很多是以MIS角度想导入... 12/30 21:36
7F:→ beaprayguy: 不从Mis切入怎麽算成本,分散运算可以报价吗 12/30 22:30
8F:推 beaprayguy: 台湾金融业的确是用储存空间来看待,具有可分散是运 12/30 22:32
9F:→ beaprayguy: 算附加 12/30 22:32
10F:推 exthrash: 题外话 有人知道facebook和linkedin做ML是用spark mlib 12/31 14:48
11F:→ exthrash: 还是他们有自己的系统呢? 12/31 14:48
12F:推 wet: Linkedin是自己做察一下photon-ML 01/01 00:03
13F:推 exthrash: Thanks! 01/01 15:13







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:iOS 或 站内搜寻

TOP