作者jimkukky (kukky)
看板Cloud
標題[問題] hadoop mapreduce效能問題
時間Mon Mar 21 23:07:20 2016
我是在一台實體機,用win7安裝單機hadoop,
我是測試wordcount的實驗,
我把reducer分成三個,跑出來的時間比一個reducer還要慢
程式設定如下
測試一個檔案
1.job.setNumReduceTasks(1)-大約30秒
2.job.setNumReduceTasks(3)-大約38秒
請問有什麼方法能夠讓單機運算的時候強制分散cpu進行同時執行,
加快效能之類的,如果不行的話就只能考慮安裝虛擬機三台(不過有點麻煩),
所以想請這方面的專家是否能克服這個問題?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.228.231.145
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Cloud/M.1458572842.A.971.html
1F：推 iamnotfat: Mapreduce 針對小檔案 是感受不到他的power, 量要夠大 03/29 10:36