※ 引述《missingmini (just missing)》之铭言： : [程式范例]: : 我有一个很大的 data.table 物件，名称为 tbl_left，是由 fread 读入文字档案 : 建立的，大小为 1821350 x 24。这 24 栏里面其中一个叫做 ID，其型态为 character。 : 另有一个较小的 data.table，名称为 tbl_right，也是由 fread 建立的，大小为 : 1289 x 24。这 24 栏里面也有一个叫做 ID，型态也是 character。 : 现在我执行 tbl_joined <- dplyr:::left_join(tbl_left, tbl_right, by = "ID") : 产生一个新的物件 tbl_joined，发现它有 1821479 列，比原来 tbl_left 的 1821350 : 还多了 129 列。研究了一下，发现是因为 tbl_right 里面有些列的 ID 栏位有重覆的， : 所以 join 到 tbl_left 之後，会有多出来的列。 : 为了找出究竟是哪些重覆的 ID 造成此结果，我做的步骤如下： : [1] 首先，用 distinct(select(tbl_right, ID)) 得到的结果有 1159 列，得知有 : 1289 - 1159 = 130 列是重覆的 : [2] 用以下程式 : right_ID <- select(tbl_right, ID) : right_ID_sorted <- sort(right_ID$ID) : right_ID_dup = rep(" ", 130) # create a character vector of length 130 : j = 1 : for (i in 1:(length(right_ID_sorted)-1)) { : if (right_ID_sorted[i] == right_ID_sorted[i+1]) { : right_ID_dup[j] <- right_ID_sorted[i]; j <- j+1 : } : } : 如此得到的 right_ID_dup 就是所有在 tbl_right 中有重覆的 ID 值 : [3] 再来要找出 right_ID_dup 里面，又有哪些值同时存在 tbl_left$ID : (所以才会被 join 进来)，用以下程式 : for (tgt_ID in right_ID_dup) { : for (j in 1:length(tbl_left$ID)) { : if (tgt_ID == tbl_left[j]$ID) cat(tgt_ID, "\n") : } : } : 结果这程式跑得非常的慢！跑了两个小时只印出两个值，於是放弃此方法。 : 上网搜寻，得到以下解法： : tst <- c(unique(tbl_left$ID), unique(right_ID_dup)) : comm_ID <- tst[duplicated(tst)] : 此法很快就得出结果，comm_ID 长度为 87，所以现在知道有 87 个 ID 值， : 是同时存在 tbl_left 与 tbl_right 的。 : [4] 最後，要找出这 87 个 ID 值，总共在 tbl_right 中出现了几次，写了以下程式 : occur_total <- 0 : for (elem in comm_ID) { : occur <- 0 : for (j in 1:length(tbl_right$ID)) { : if (elem == tbl_right[j]$ID) occur <- occur + 1 : } : occur_total <- occur_total + occur : } : cat("Total: ", occur_total, "\n") : 结果印出 Total: 216 : 所以总共的重覆次数为 216 - 87 = 129。可以解释为何经过 join 之後，结果比 : 原来的 tbl_left 多了 129 列。 : 但是。。。这个程式跑得也有点慢，大概近 5 分钟才跑完。我想原因跟 [3] 的程式 : 是相同的，亦即是 : ==> R 的回圈就是很慢！ : 因此我的问题如下： : (1) R 的回圈为何可以慢成这样? 我知道有研究过底层的高手理解来龙去脉，但对於 : 新手而言，有没有什麽简单的说法可以 give some insight? : (2) [4] 的程式有什麽替代解法可以跑得比较快的? : (3) [2] 的程式虽然不慢，但我相信高手可以提出更快更适合 R 的写法 我不知道怎麽跟你解释R的回圈很慢 可是有时候回圈还是很快的 (看前几篇更改矩阵的值就快很多) 而且，R有很多方法可以避免回圈，想办法用vectorise的方法去做才会快 这个法门只能多认识一些R的基础函数 看你的写法大概不知道 %in%, match，所以才会逐个元素做比较 先从学习这两个函数，把回圈改回一层开始吧 下面是用较快的程式 (其实善用duplicated就可以解决这些问题) ([2]~[4]全部都改写到我电脑(cpu:B970)不用1秒就跑出结果了...) 程式：http://pastebin.com/36PheyGS '%>%'跟duplicated的用法可以往前看我撰写的相关文章 (duplicated在base跟data.table都有，我这里都用data.table的method) --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.205.27.107 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1438689234.A.10D.html ※ 编辑: celestialgod (123.205.27.107), 08/04/2015 20:08:48