請問一下 再 linux 下有沒有辦法把 CPU 的多個核心分配給 R? 因為我的電腦有8核 可是每次都只有一個 core 跑 100% 是否有辦法設定成多核運算? --------------------------------------- 我有查到一個 "multicore" 的 package 可是看起來好難... --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.113.239.247 ※ 編輯: gsuper 來自: 140.113.239.247 (06/16 15:27) 本篇的 reference ※ 編輯: gsuper 來自: 140.113.239.247 (06/16 23:21) 筆記開始 ------------------------------------------------------------- 先安裝 snow 與 Rmpi 在 ubontu 圖形介面下 , 直接在 "管理" -> "Synnaptic 安裝套件" 分別搜尋 r-cran-Rmpi r-cran-snow 進行安裝 ------------------------------------------------------------ http://www.sfu.ca/~sblay/R/snow.html#clusterCall 這是一些 snow 的函式教學 很容易學 主要分成三個步驟 下面有操作簡介 --------------------------------------------------- StepA cl <- makeCluster(4,type="MPI") 4為想要用的核的數目 type 有很多種 "SOCK","PVM","MPI","NWS" (有空再來學這些東西的意義) 一旦做了以下的指令 library(snow) cl <- makeCluster(4,type="MPI") 就可以在 top 看到 (linux 的工作管理員) R 變成 4 組 (平行CPU分配 , 連結成功) ------------------------------------------------- 再來是 StepB parApply (相同於 apply 的用法 , 但速度比 parCapply 和 parRapply 慢) parCapply (Column apply , 不需要下 MARGIN=2 的參數) parRapply ( Row apply , 不需要下 MARGIN=1 的參數) parSapply parLapply 這些升級過的函式 重點只有一個 就是在原本的應用方式上 加上一個 cl 變數 比方說 apply ( x,1,paste,collapse="") parApply (cl,x,1,paste,collapse="") parRapply(cl,x, paste,collapse="") ------------------------------------------------ StepC 最後一定要記得下一個指令 stopCluster(cl) 把多核的分配結束掉 (資源吃很大) 若 [R] 不正常中止 也需要去 top 自己把程序 kill 掉 不然會變成殭屍程式 ------------------------------------------------ 以下是我比較速度的程式 我有8核 , 所以開 2~7核 , 測50次 library(snow) SPEED <- matrix(0,3,8) rownames(SPEED) <- c("parRapply","parApply","apply") colnames(SPEED) <- c(paste(1:8,"CORE",sep="_")) SPEED_MULTI <- list(NULL) x <- matrix(sample(c("A","T","C","G"),100000,T),50000,2) for(k in 1:50) { for(g in 2:7) { cl <- makeCluster(g,type="MPI") SPEED[1,g] <- system.time(parRapply(cl,x, paste,collapse=""))[3] #平行 SPEED[2,g] <- system.time(parApply (cl,x,1,paste,collapse=""))[3] #平行 SPEED[3,g] <- system.time( apply ( x,1,paste,collapse=""))[3] #非平行 stopCluster(cl) print(g) } SPEED_MULTI[[k]] <- SPEED } PAR_RAPPLY <- t(sapply(SPEED_MULTI,function(tmp){tmp[1,c(-1,-8)]})) PAR_APPLY <- t(sapply(SPEED_MULTI,function(tmp){tmp[2,c(-1,-8)]})) --------------------------------------------------------- 先從單一次的時間測試可看到 在速度上 parRapply > parApply > apply > SPEED 1_CORE 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 8_CORE parRapply 0 0.288 0.226 0.277 0.260 0.235 0.311 0 parApply 0 0.353 0.309 0.451 0.444 0.438 0.434 0 apply 0 0.439 0.464 0.709 0.716 0.742 0.706 0 ---------------------------------------------------------- 從50次的平均速度來看 開3核似乎是最快的 > colMeans(PAR_RAPPLY) 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 0.31814 0.24738 0.27184 0.26138 0.25736 0.27146 > colMeans(PAR_APPLY) 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 0.35836 0.31936 0.36772 0.40882 0.42408 0.43074 ------------------------------------------------ 從 50 次的標準差來看 有時 4核5核 比較穩定 有時 3核7核 比較穩定 沒有明顯的贏家 > apply(PAR_RAPPLY,2,sd) 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 0.05133762 0.04803141 0.01216613 0.02597243 0.04290034 0.04530721 > apply(PAR_APPLY,2,sd) 2_CORE 3_CORE 4_CORE 5_CORE 6_CORE 7_CORE 0.04761742 0.04154111 0.05557053 0.05804034 0.04591911 0.02569746 ------------------------------------------------- 結論 : 1. 平行運算在速度上 至少可加速一倍 2. 在 Ram 夠用的情況下 開3核或6核較好 但推測每台電腦可能會不一樣 3. 平均效能 6核 > 5核 > 4核 > 7核的原因可能是 我的8核中 , 1個分配給虛擬機 所以實質上是 7 核 由於 linux 也要1核 所以當我開 7 核平行時 搶占 linux 的資源 因此反而速度下降 4. 依舊不能理解的問題 是為什麼 3核 會比 6核 還快 ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 15:59) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:01) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:09) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:09) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:10) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:10) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:10) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:15) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:24) ※ 編輯: gsuper 來自: 140.113.239.247 (06/23 16:26) ※ 編輯: gsuper 來自: 218.160.244.59 (06/25 04:17) ※ gsuper:轉錄至看板 R_Language 03/30 20:32