Soft_Job 板


LINE

L大应该是在tech startup吧 技术能力够 我有机会接触到各行各业使用Hadoop的应用 扣掉本身有能力架Hadoop的公司之外,会买Hadoop support的最主要的客户群来自: 银行、保险等金融业 电信业 政府单位 这主要的基本客户群,几乎都不用/不可能用cloud 他们都有自己的data center 虽然,整体来说越来越多人的Hadoop跑在cloud上 另外,这些主要客户群很大的应用还是把Hadoop当data warehouse来用 SQL-like的query engine像 Hive, Impala非常重要 随着Hadoop越来越多人使用,会有越来越多naiive使用者 不是每个使用者都能自己写Mapreduce的... 虽然必须说Hadoop作为distributed execution engine是非常成功的 再更之前好像只有PVM MPI这种,而且只有科学计算才常看到 写parallel program也比MapReduce难多了. 就像我前一篇回文说的,Hadoop上面的应用很多 您所说的是一部分的应用 但也有别人是这样用的 或许我所描述的并不能代表大部份Hadoop使用者, 毕竟大多数使用者可能都不需要买技术支援 所以我的样本不具代表性 不过, Cloudera, Hortonworks等公司最喜欢比较Impala vs Tez 然後推Spark, 其实很多人也是跑Hive on Spark 就是因为这部分是最赚钱的 (这算商业机密吗 XDD) : 嗯.. 不是这样说的. : Hadoop 珍贵的地方在於 MapReduce open source implementation, : 和 DB 没有任何关系. : 另外, 现在一堆公司有这需求, 是因为internet的关系 : 资料多了, 需要存放 / 处里 : 所以才跑出来那麽多 Hadoop service company. : 除非有特殊需求, 才会自己建 Hadoop cluster : 不然用 Cloud 其实省多了. : 美国人工贵, 除非规模够, 不然养几个人专门搞 infra : 那个钱拿去买 cloud 划算的多. : : 就应用来说的话,big data有几种 : : (1) analytical database : : Hive, Impala, Spark SQL等等 做ETL BI之类的 这个是Hadoop最一开始的应用 : : (2) operational database : : Kafka, HBase, Kudu等等 可以做线上服务 : 这.. 唉, 如果是比较严谨的公司 : ETL pipeline 应该还是用 Hadoop 或是 Spark 做得 : 比较不可能用 SQL-like 直接去操作. : 另外, Kafka 是个 Streaming solution, : 他不能 search, 他只有 offset 去取资料. : 严格地说不能算是 DB : : (3) data science & machine learning : : Spark MLlib等等 这个现在越来愈多人用 : : 问题就是你想要做什麽样的应用. : : 有人说big data是hype,其实真的不是。我每天接触到的客户, : : 他们的cluster 动辄数PB甚至数十PB... : : 但如果你的data可以用MySQL就装得下的话...那就当我没说好了 XDD : 几个有趣的地方: : 有人把 Spark 和 Tensorflow 弄起来了. 我满想知道这会怎麽发展. : Facebook DB 的底层是用 MySql 做得.. 我知道Facebook做了一个Hadoop cluster, 他的HDFS NameNode是用MySQL 实现file -> block -> DataNode的mapping 说的是这个吗? 不过NameNode本来一个cluster只有一个主要的, 改成MySQL也是满合理的 --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 24.6.222.140
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1483159208.A.7A8.html
1F:推 beaprayguy: 银行就是这样完,推你一票 12/31 12:45
2F:推 beaprayguy: 银行资料要转型还要一段路,真他妈当脏的可以 12/31 12:48
3F:推 v9290026: 呃…其他我没意见,但namenode的部分…可以参考看看 HDF 12/31 13:55
4F:→ v9290026: S Federation… 12/31 13:55
5F:→ jojochuang: federation没有改变我说的 它事实上仍是多个cluster 12/31 14:11
6F:→ jojochuang: 只是假装成一个namespace而已. 12/31 14:12
※ 编辑: jojochuang (24.6.222.140), 12/31/2016 14:15:28
7F:推 fishlinghu: 大大说的那个Facebook cluster是 Haystack? 12/31 14:19
8F:推 frouscy: 可以给MySQL当namenode的相关连结吗 搜寻不太到 12/31 14:21
9F:→ v9290026: "不过NameNode本来一个cluster只有一个主要的"…嗯…fin 12/31 14:21
10F:→ v9290026: e 12/31 14:21







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Gossiping 或 站内搜寻

TOP