作者Wush978 (拒看低质媒体)
看板R_Language
标题[分享] 在云端运算环境使用R和MPI
时间Thu Sep 26 22:04:03 2013
[关键字]: R, MPI, pbdMPI, Cloud Computing
[出处]:
http://0rz.tw/HSFb3
[重点摘要]:
好读版：
http://rpubs.com/wush978/R-mpi-cloud
快速设定的参考影片：
https://www.youtube.com/watch?v=m1vtPESsFqM
处理没有非常非常大的资料，其实不用用到Hadoop。
我们可以在云端运算环境快速部署MPI环境後，以优於Hadoop的效能做分析。
这篇文章详细的示范如何在AWS上设定一个MPI的运算环境，
并且用R和pbdMPI来演示一个数分钟内计算一亿多笔资料的Logistic Regression。
大家有问题欢迎来信或水球询问或讨论。
--
欢迎到ptt R_Language版分享R 的相关知识
欢迎加入 Taiwan R User Group :
http://www.facebook.com/Tw.R.User
聚会报名
http://www.meetup.com/Taiwan-R/
聚会影片
https://www.youtube.com/user/TWuseRGroup
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 1.34.138.85
1F：推 memphis:好威阿! 09/27 13:49
2F：推 acecc:推~能有Windows 平台的设定介绍吗XD 09/27 19:20
3F：推 skylikewater:感谢分享！ 09/28 11:22
4F：推 clickhere:Well done. 09/28 20:06
5F：→ clickhere:你可以用allreduce(w),这样就不用 bcast 在 reduce 了. 09/28 20:24
6F：→ clickhere:可不用if(comm.rank()==0) else ... 09/28 20:25
7F：→ clickhere:allreduce的 cost 和 reduce 是一样的. 09/28 20:26
8F：→ clickhere:还省下bcast和if esle 的时间. 09/28 20:26
9F：→ clickhere:假设没看错algorithm的话 09/28 20:27
10F：→ clickhere:n<-ifelse(comm.rank()==0,nrow(iris),0) 09/28 21:03
11F：→ clickhere:n<-allreduce(n) 09/28 21:04
12F：→ Wush978:谢谢建议，我再研究研究 09/28 21:25
13F：推 kanx:感谢分享. 09/30 12:22