Soft_Job 板


LINE

L大應該是在tech startup吧 技術能力夠 我有機會接觸到各行各業使用Hadoop的應用 扣掉本身有能力架Hadoop的公司之外,會買Hadoop support的最主要的客戶群來自: 銀行、保險等金融業 電信業 政府單位 這主要的基本客戶群,幾乎都不用/不可能用cloud 他們都有自己的data center 雖然,整體來說越來越多人的Hadoop跑在cloud上 另外,這些主要客戶群很大的應用還是把Hadoop當data warehouse來用 SQL-like的query engine像 Hive, Impala非常重要 隨著Hadoop越來越多人使用,會有越來越多naiive使用者 不是每個使用者都能自己寫Mapreduce的... 雖然必須說Hadoop作為distributed execution engine是非常成功的 再更之前好像只有PVM MPI這種,而且只有科學計算才常看到 寫parallel program也比MapReduce難多了. 就像我前一篇回文說的,Hadoop上面的應用很多 您所說的是一部分的應用 但也有別人是這樣用的 或許我所描述的並不能代表大部份Hadoop使用者, 畢竟大多數使用者可能都不需要買技術支援 所以我的樣本不具代表性 不過, Cloudera, Hortonworks等公司最喜歡比較Impala vs Tez 然後推Spark, 其實很多人也是跑Hive on Spark 就是因為這部分是最賺錢的 (這算商業機密嗎 XDD) : 嗯.. 不是這樣說的. : Hadoop 珍貴的地方在於 MapReduce open source implementation, : 和 DB 沒有任何關係. : 另外, 現在一堆公司有這需求, 是因為internet的關係 : 資料多了, 需要存放 / 處裡 : 所以才跑出來那麼多 Hadoop service company. : 除非有特殊需求, 才會自己建 Hadoop cluster : 不然用 Cloud 其實省多了. : 美國人工貴, 除非規模夠, 不然養幾箇人專門搞 infra : 那個錢拿去買 cloud 划算的多. : : 就應用來說的話,big data有幾種 : : (1) analytical database : : Hive, Impala, Spark SQL等等 做ETL BI之類的 這個是Hadoop最一開始的應用 : : (2) operational database : : Kafka, HBase, Kudu等等 可以做線上服務 : 這.. 唉, 如果是比較嚴謹的公司 : ETL pipeline 應該還是用 Hadoop 或是 Spark 做得 : 比較不可能用 SQL-like 直接去操作. : 另外, Kafka 是個 Streaming solution, : 他不能 search, 他只有 offset 去取資料. : 嚴格地說不能算是 DB : : (3) data science & machine learning : : Spark MLlib等等 這個現在越來愈多人用 : : 問題就是你想要做什麼樣的應用. : : 有人說big data是hype,其實真的不是。我每天接觸到的客戶, : : 他們的cluster 動輒數PB甚至數十PB... : : 但如果你的data可以用MySQL就裝得下的話...那就當我沒說好了 XDD : 几個有趣的地方: : 有人把 Spark 和 Tensorflow 弄起來了. 我滿想知道這會怎麼發展. : Facebook DB 的底層是用 MySql 做得.. 我知道Facebook做了一個Hadoop cluster, 他的HDFS NameNode是用MySQL 實現file -> block -> DataNode的mapping 說的是這個嗎? 不過NameNode本來一個cluster只有一個主要的, 改成MySQL也是滿合理的 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 24.6.222.140
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1483159208.A.7A8.html
1F:推 beaprayguy: 銀行就是這樣完,推你一票 12/31 12:45
2F:推 beaprayguy: 銀行資料要轉型還要一段路,真他媽當髒的可以 12/31 12:48
3F:推 v9290026: 呃…其他我沒意見,但namenode的部分…可以參考看看 HDF 12/31 13:55
4F:→ v9290026: S Federation… 12/31 13:55
5F:→ jojochuang: federation沒有改變我說的 它事實上仍是多個cluster 12/31 14:11
6F:→ jojochuang: 只是假裝成一個namespace而已. 12/31 14:12
※ 編輯: jojochuang (24.6.222.140), 12/31/2016 14:15:28
7F:推 fishlinghu: 大大說的那個Facebook cluster是 Haystack? 12/31 14:19
8F:推 frouscy: 可以給MySQL當namenode的相關連結嗎 搜尋不太到 12/31 14:21
9F:→ v9290026: "不過NameNode本來一個cluster只有一個主要的"…嗯…fin 12/31 14:21
10F:→ v9290026: e 12/31 14:21







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:e-shopping 或 站內搜尋

TOP