作者missingmini (just missing)
看板R_Language
标题[问题] test
时间Tue Aug 4 19:10:07 2015
[问题类型]:
效能谘询(我想让R 跑更快)
[软体熟悉度]:
入门(写过其他程式，只是对语法不熟悉)
[问题叙述]:
R 的回圈真的是非常慢
[程式范例]:
我有一个很大的 data.table 物件，名称为 tbl_left，是由 fread 读入文字档案
建立的，大小为 1821350 x 24。这 24 栏里面其中一个叫做 ID，其型态为 character。
另有一个较小的 data.table，名称为 tbl_right，也是由 fread 建立的，大小为
1289 x 24。这 24 栏里面也有一个叫做 ID，型态也是 character。
现在我执行 tbl_joined <- dplyr:::left_join(tbl_left, tbl_right, by = "ID")
产生一个新的物件 tbl_joined，发现它有 1821479 列，比原来 tbl_left 的 1821350
还多了 129 列。研究了一下，发现是因为 tbl_right 里面有些列的 ID 栏位有重覆的，
所以 join 到 tbl_left 之後，会有多出来的列。
为了找出究竟是哪些重覆的 ID 造成此结果，我做的步骤如下：
[1] 首先，用 distinct(select(tbl_right, ID)) 得到的结果有 1159 列，得知有
1289 - 1159 = 130 列是重覆的
[2] 用以下程式
right_ID <- select(tbl_right, ID)
right_ID_sorted <- sort(right_ID$ID)
right_ID_dup = rep(" ", 130) # create a character vector of length 130
j = 1
for (i in 1:(length(right_ID_sorted)-1)) {
if (right_ID_sorted[i] == right_ID_sorted[i+1]) {
right_ID_dup[j] <- right_ID_sorted[i]; j <- j+1
}
}
如此得到的 right_ID_dup 就是所有在 tbl_right 中有重覆的 ID 值
[3] 再来要找出 right_ID_dup 里面，又有哪些值同时存在 tbl_left$ID
(所以才会被 join 进来)，用以下程式
for (tgt_ID in right_ID_dup) {
for (j in 1:length(tbl_left$ID)) {
if (tgt_ID == tbl_left[j]$ID) cat(tgt_ID, "\n")
}
}
结果这程式跑得非常的慢！跑了两个小时只印出两个值，於是放弃此方法。
上网搜寻，得到以下解法：
tst <- c(unique(tbl_left$ID), unique(right_ID_dup))
comm_ID <- tst[duplicated(tst)]
此法很快就得出结果，comm_ID 长度为 87，所以现在知道有 87 个 ID 值，
是同时存在 tbl_left 与 tbl_right 的。
[4] 最後，要找出这 87 个 ID 值，总共在 tbl_right 中出现了几次，写了以下程式
occur_total <- 0
for (elem in comm_ID) {
occur <- 0
for (j in 1:length(tbl_right$ID)) {
if (elem == tbl_right[j]$ID) occur <- occur + 1
}
occur_total <- occur_total + occur
}
cat("Total: ", occur_total, "\n")
结果印出 Total: 216
所以总共的重覆次数为 216 - 87 = 129。可以解释为何经过 join 之後，结果比
原来的 tbl_left 多了 129 列。
但是。。。这个程式跑得也有点慢，大概近 5 分钟才跑完。我想原因跟 [3] 的程式
是相同的，亦即是
==> R 的回圈就是很慢！
因此我的问题如下：
(1) R 的回圈为何可以慢成这样? 我知道有研究过底层的高手理解来龙去脉，但对於
新手而言，有没有什麽简单的说法可以 give some insight?
(2) [4] 的程式有什麽替代解法可以跑得比较快的?
(3) [2] 的程式虽然不慢，但我相信高手可以提出更快更适合 R 的写法
[环境叙述]:
R version 3.2.1 (2015-06-18)
Platform: x86_64-apple-darwin13.4.0 (64-bit)
Running under: OS X 10.10.4 (Yosemite)
locale:
[1] zh_TW.UTF-8/zh_TW.UTF-8/zh_TW.UTF-8/C/zh_TW.UTF-8/zh_TW.UTF-8
attached base packages:
[1] stats graphics grDevices utils datasets methods base
other attached packages:
[1] dplyr_0.4.2 data.table_1.9.4 magrittr_1.5
loaded via a namespace (and not attached):
[1] lazyeval_0.1.10 R6_2.0.1 assertthat_0.1 plyr_1.8.3 parallel_3.2.1 DBI_0.3.1 tools_3.2.1 reshape2_1.4.1 Rcpp_0.11.6
[10] stringi_0.5-5 stringr_1.0.0 chron_2.3-47
[关键字]:
回圈、data.table、dplyr
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.127.14.10
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1438686610.A.4DE.html
1F：→ Wush978: (1) R对记忆体的使用上比较没效率，所以用for写的演算法 08/04 19:52
2F：→ Wush978: 很容易写出没有重复利用记忆体的写法，导致记忆体管理拖 08/04 19:53
3F：→ Wush978: 累效能 08/04 19:53
4F：→ celestialgod: 我看到的是要做很多直译动作而浪费掉时间~~~ 08/04 19:56
5F：→ celestialgod: 简单说明就是有很多不必要的动作在回圈中被使用 08/04 19:57