作者jimkukky (kukky)
看板Cloud
标题[问题] hadoop mapreduce效能问题
时间Mon Mar 21 23:07:20 2016
我是在一台实体机,用win7安装单机hadoop,
我是测试wordcount的实验,
我把reducer分成三个,跑出来的时间比一个reducer还要慢
程式设定如下
测试一个档案
1.job.setNumReduceTasks(1)-大约30秒
2.job.setNumReduceTasks(3)-大约38秒
请问有什麽方法能够让单机运算的时候强制分散cpu进行同时执行,
加快效能之类的,如果不行的话就只能考虑安装虚拟机三台(不过有点麻烦),
所以想请这方面的专家是否能克服这个问题?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.228.231.145
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Cloud/M.1458572842.A.971.html
1F：推 iamnotfat: Mapreduce 针对小档案 是感受不到他的power, 量要够大 03/29 10:36