请问一下 再 linux 下有没有办法把 CPU 的多个核心分配给 R? 因为我的电脑有8核 可是每次都只有一个 core 跑 100% 是否有办法设定成多核运算? --------------------------------------- 我有查到一个 "multicore" 的 package 可是看起来好难... --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 140.113.239.247 ※ 编辑: gsuper 来自: 140.113.239.247 (06/16 15:27) 本篇的 reference ※ 编辑: gsuper 来自: 140.113.239.247 (06/16 23:21) 笔记开始 ------------------------------------------------------------- 先安装 snow 与 Rmpi 在 ubontu 图形介面下 , 直接在 "管理" -> "Synnaptic 安装套件" 分别搜寻 r-cran-Rmpi r-cran-snow 进行安装 ------------------------------------------------------------ http://www.sfu.ca/~sblay/R/snow.html#clusterCall 这是一些 snow 的函式教学 很容易学 主要分成三个步骤 下面有操作简介 --------------------------------------------------- StepA cl <- makeCluster(4,type="MPI") 4为想要用的核的数目 type 有很多种 "SOCK","PVM","MPI","NWS" (有空再来学这些东西的意义) 一旦做了以下的指令 library(snow) cl <- makeCluster(4,type="MPI") 就可以在 top 看到 (linux 的工作管理员) R 变成 4 组 (平行CPU分配 , 连结成功) ------------------------------------------------- 再来是 StepB parApply (相同於 apply 的用法 , 但速度比 parCapply 和 parRapply 慢) parCapply (Column apply , 不需要下 MARGIN=2 的参数) parRapply ( Row apply , 不需要下 MARGIN=1 的参数) parSapply parLapply 这些升级过的函式 重点只有一个 就是在原本的应用方式上 加上一个 cl 变数 比方说 apply ( x,1,paste,collapse="") parApply (cl,x,1,paste,collapse="") parRapply(cl,x, paste,collapse="") ------------------------------------------------ StepC 最後一定要记得下一个指令 stopCluster(cl) 把多核的分配结束掉 (资源吃很大) 若 [R] 不正常中止 也需要去 top 自己把程序 kill 掉 不然会变成殭屍程式 ------------------------------------------------ 以下是我比较速度的程式 我有8核 , 所以开 2~7核 , 测50次 library(snow) SPEED <- matrix(0,3,8) rownames(SPEED) <- c("parRapply","parApply","apply") colnames(SPEED) <- c(paste(1:8,"CORE",sep="_")) SPEED_MULTI <- list(NULL) x <- matrix(sample(c("A","T","C","G"),100000,T),50000,2) for(k in 1:50) { for(g in 2:7) { cl <- makeCluster(g,type="MPI") SPEED[1,g] <- system.time(parRapply(cl,x, paste,collapse=""))[3] #平行 SPEED[2,g] <- system.time(parApply (cl,x,1,paste,collapse=""))[3] #平行 SPEED[3,g] <- system.time( apply ( x,1,paste,collapse=""))[3] #非平行 stopCluster(cl) print(g) } SPEED_MULTI[[k]] <- SPEED } PAR_RAPPLY <- t(sapply(SPEED_MULTI,function(tmp){tmp[1,c(-1,-8)]})) PAR_APPLY <- t(sapply(SPEED_MULTI,function(tmp){tmp[2,c(-1,-8)]})) --------------------------------------------------------- 先从单一次的时间测试可看到 在速度上 parRapply > parApply > apply > SPEED 1_CORE 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 8_CORE parRapply 0 0.288 0.226 0.277 0.260 0.235 0.311 0 parApply 0 0.353 0.309 0.451 0.444 0.438 0.434 0 apply 0 0.439 0.464 0.709 0.716 0.742 0.706 0 ---------------------------------------------------------- 从50次的平均速度来看 开3核似乎是最快的 > colMeans(PAR_RAPPLY) 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 0.31814 0.24738 0.27184 0.26138 0.25736 0.27146 > colMeans(PAR_APPLY) 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 0.35836 0.31936 0.36772 0.40882 0.42408 0.43074 ------------------------------------------------ 从 50 次的标准差来看 有时 4核5核 比较稳定 有时 3核7核 比较稳定 没有明显的赢家 > apply(PAR_RAPPLY,2,sd) 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 0.05133762 0.04803141 0.01216613 0.02597243 0.04290034 0.04530721 > apply(PAR_APPLY,2,sd) 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 0.04761742 0.04154111 0.05557053 0.05804034 0.04591911 0.02569746 ------------------------------------------------- 结论 : 1. 平行运算在速度上 至少可加速一倍 2. 在 Ram 够用的情况下 开3核或6核较好 但推测每台电脑可能会不一样 3. 平均效能 6核 > 5核 > 4核 > 7核的原因可能是 我的8核中 , 1个分配给虚拟机 所以实质上是 7 核 由於 linux 也要1核 所以当我开 7 核平行时 抢占 linux 的资源 因此反而速度下降 4. 依旧不能理解的问题 是为什麽 3核 会比 6核 还快 ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 15:59) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:01) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:09) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:09) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:10) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:10) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:10) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:15) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:24) ※ 编辑: gsuper 来自: 140.113.239.247 (06/23 16:26) ※ 编辑: gsuper 来自: 218.160.244.59 (06/25 04:17) ※ gsuper:转录至看板 R_Language 03/30 20:32