作者koai (可笑的自以为...)
看板R_Language
标题[问题] 请教 RHadoop 高手
时间Mon Dec 23 18:13:01 2013
[问题类型]:
程式谘询(我想用R 做某件事情,但是我不知道要怎麽用R 写出来)
[软体熟悉度]:
R 使用者 ( RHadoop 幼幼班... @@" )
[问题叙述]:
想请教版上的RHadoop高手或使用者,
是否可以帮我看看我的问题出在哪里?
最近在尝试用RHadoop,但不是很理解rmr2里面
map 跟 reduce 这两个函数的结构,想找版上高手求救... @@"
是否可以帮我看看我的下列程式是否有错?
当input file较小时,下面的程式码可以成功,
但当input file变大时,我的程式码就会出错了!
以下为 Error code:
Error: # of failed Map Tasks exceeded allowed limit.
Streaming Command Failed!
Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce, :
hadoop streaming failed with error code 1
感谢前辈帮忙了~~ @@"
[程式范例]:
testdb02 <- mapreduce(
input = "/my_test_file",
map = function(k,v){
val <- matrix( unlist(strsplit(v,"\t")), ncol=18, byrow=TRUE)
colnames(val) <- paste("Col_",1:18,sep="")
key <- matrix(as.double(unlist(strsplit(matrix(unlist(strsplit(val[,1]," ")),2)[2,],":"))),ncol=3,byrow=TRUE)
keyval(key,val)
}
)
http://codepad.org/0PMOmqf2
[关键字]:
RHadoop; rmr; mapreduce
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 203.73.70.8
※ 编辑: koai 来自: 203.73.70.8 (12/23 18:14)
1F:→ koai:有高手愿意解救吗?? @@" 12/24 17:40
2F:→ Wush978:我完全没碰过RHadoop, 但是根据你的错误讯息, 12/24 22:39
3F:→ Wush978:以及过去我听过的传闻(未证实), 我猜可能是因为执行时间 12/24 22:40
4F:→ Wush978:过久。Hadoop的Task如果超过多少秒没回应会被终止。 12/24 22:40
5F:→ Wush978:( 如有误,还请大大不吝指正 ) 12/24 22:40
6F:→ koai:感谢W大热情回覆, 不过我依然卡在这里努力当中... @@" 12/25 14:06
7F:推 tailinchen:没使用过Rhadoop但感觉是因为你的资料都是一堆小档案 01/19 11:10
8F:→ tailinchen:造成Map task太多 01/19 11:11
9F:→ koai:t大... 我的input只有一个资料阿~~ @@" 01/20 13:53
10F:推 tailinchen:看到错误讯息是failed task那应该是程式码有问题喔 01/26 00:41
11F:推 tailinchen:hi同学 我最近试了一下 我想是不是因为你安装时不是用 02/02 13:38
12F:→ tailinchen:root安装套件包所以产生的问题 02/02 13:39
14F:→ tailinchen:这个网站里有类似的教学 02/02 13:40