作者celestialgod (天)
看板R_Language
標題Re: [問題] 矩陣的處理...拜求各位大大
時間Sun Aug 27 17:43:21 2017
※ 引述《s3714443 (metalheads)》之銘言：
: http://imgur.com/a/1s7Is
: 資料大概是長這樣
: 我想要處理的是：
: 像第八行就有兩個非0的數字
: 那我就是取最左的那排 26.57這個數字
: 倒數第二排有26.43跟26.57這兩個數字
: 那就是取最左邊的26.43
: 反正就是 特定欄之中 先看有沒有非0的數字，有就取最左的，沒有就取0
: 然後就是mutate出來新的一行
: 我想不到除了sapply之外的辦法了
: 但是我的資料有500多萬筆
: sapply可能會跑到電腦燒掉ＸＤ
: 感恩各位
# 資料生成
n <- 5e5 + 12
m <- 8
r <- 2
X <- matrix(0, n, m)
for (i in seq(1, n - 5, by = m-r))
X[cbind(i:(i+7), m:1)] <- rnorm(1)
X[cbind((n-1):n, 8:7)] <- rnorm(1)
# 隨機抽10000列讓整列變成0
zeroLocIdx <- sample(n, 10000)
X[zeroLocIdx, ] <- 0
# 程式開始
st <- proc.time()
# 取出全部不等於0的位置，並以matrix矩陣表示 row跟column位置 (arr.ind)
tmp <- which(X != 0, arr.ind = TRUE)
# 對每一個row取最小的column index
out <- tapply(tmp[ ,2], tmp[ ,1], min)
# 組出位置矩陣
locMat <- cbind(row = as.integer(names(out)) , col = out)
# 處理非0部分
zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1])
if (length(zeroLocIdx2) > 0)
locMat <- rbind(locMat, cbind(zeroLocIdx2, 1))
# 排序
locMat <- locMat[order(locMat[ , 1]), ]
# 取出值
out <- X[locMat]
proc.time() - st
# user system elapsed
# 1.05 0.03 1.10
驗證結果：
http://imgur.com/QMpBoGh
驗證0位置： all(zeroLocIdx2 == sort(zeroLocIdx)) # TRUE
搭配data.table的做法如下：
library(data.table)
# 轉成data.table
DT <- data.table(X)
# 假設有其他欄位
DT[ , `:=`(V9 = sample(1:5, nrow(DT), TRUE),
V10 = sample(LETTERS, nrow(DT), TRUE))]
# 把上面的程式直接抓下來用
findValue <- function(X){
tmp <- which(X != 0, arr.ind = TRUE)
minColLoc <- tapply(tmp[ ,2], tmp[ ,1], min)
locMat <- cbind(row = as.integer(names(minColLoc)) , col = minColLoc)
zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1])
if (length(zeroLocIdx2) > 0)
locMat <- rbind(locMat, cbind(zeroLocIdx2, 1))
locMat <- locMat[order(locMat[ , 1]), ]
X[locMat]
}
st <- proc.time()
# 直接把需要的column抓出來利用do.call + cbind組成矩陣丟進去
DT[ , v := findValue(do.call(cbind, .SD)), .SDcols = V1:V8]
proc.time() - st
# user system elapsed
# 1.04 0.04 1.09
# 驗證結果
head(DT, 40)
http://imgur.com/NxjaCaH
--
R資料整理套件系列文：
magrittr #1LhSWhpH (R_Language) https://goo.gl/72l1m9
data.table #1LhW7Tvj (R_Language) https://goo.gl/PZa6Ue
dplyr(上.下) #1LhpJCfB,#1Lhw8b-s (R_Language) https://goo.gl/I5xX9b
tidyr #1Liqls1R (R_Language) https://goo.gl/i7yzAz
pipeR #1NXESRm5 (R_Language) https://goo.gl/zRUISx
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.224.109.231
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1503827007.A.D2A.html
1F：推 s3714443: 感恩大大，想問大大為什麼處理這種大量資料有用到apply 08/27 20:49
2F：→ s3714443: 還是可以這麼快呢！甘拜下風 08/27 20:50
我只用到tapply而已，tapply速度是還算快的XDD
3F：推 s3714443: 所以tapply算apply家族中比較快的嗎？而且我覺得只用到 08/27 21:20
4F：→ s3714443: min這種簡單函數函數來跑tapply也是關鍵 08/27 21:20
應該說group by somethin to do something比較難做vectorization
所以用tapply就變成是不得已去使用的情境
但是背後其實也是lapply而已
不過這裡是有替代方案，例如先把which出來的row,column排序之後
利用rle取出第一個出現該row的位置就好
簡單實現的程式如下：
X <- matrix(c(0,0,2,0,0,0,2,0,0,0,1,1,3,2,0), 5)
locMat <- which(X > 0, arr.ind = TRUE)
## 要的是第1,2,4,6列
# row col
# [1,] 1 3
# [2,] 2 2
# [3,] 2 3
# [4,] 3 1
# [5,] 3 3
# [6,] 4 3
## 利用order把row根col排序
locMat <- locMat[order(locMat[,1], -locMat[,2]), ]
# row col
# [1,] 1 3
# [2,] 2 3
# [3,] 2 2
# [4,] 3 3
# [5,] 3 1
# [6,] 4 3
locMat[cumsum(rle(locMat[,1])$lengths), ]
# row col
# [1,] 1 3
# [2,] 2 2
# [3,] 3 1
# [4,] 4 3
※ 編輯: celestialgod (125.224.109.231), 08/27/2017 21:54:54
5F：→ f496328mm: 如果用 apply 家族的話 開平行會不會好一點?? 08/28 08:10
6F：→ f496328mm: 像是 snow or parallel 08/28 08:11
7F：→ f496328mm: 單就速度上來看 08/28 08:11
8F：推 s3714443: 但是我500多萬筆50幾個column三分鐘就跑完了 超快ＸＤ 08/28 12:53
9F：推 s3714443: 想請問c大 findValue(do.call(cbind, .SD)) 跟 08/28 13:14
10F：→ s3714443: findValue( .SD) 差在哪？ 為什麼後者跑不出來？ 感恩 08/28 13:15
11F：推 f496328mm: 如果你用apply家族，3分鐘跑完，那開平行會更快 08/28 13:37
12F：推 f496328mm: 不過主要是c大寫的比較有效率 08/28 13:39
13F：→ celestialgod: 開平行可能改善不多，中間還有傳輸問題，建議還是用 08/28 18:26
14F：→ celestialgod: vectorization方法解決 08/28 18:26
15F：→ celestialgod: .SD是list 要轉成矩陣才能跑findValue 08/28 18:27