這章將要繼續上章未完的dplyr 以下是這章主要內容： A. 取唯一列：distinct, data.table:::unique B. 列行運算：rowwise, plyr:::colwise C. 值映射(對應修改)：plyr:::mapvalues, plyr:::revalue D. 其他函數：summarise_each, mutate_each E. 特殊函數：plyr:::here F. function with underscore suffix 1. 取唯一列 我在第一章 data.table提過 unique distinct是一樣的方法 就從data.table:::unique的例子開始 ` R DT = data.table(A = rbinom(5, 1, 0.5), B = rbinom(5, 1, 0.5)) # A B # 1: 0 0 # 2: 0 1 # 3: 1 0 # 4: 0 1 # 5: 0 0 unique(DT) # A B # 1: 0 0 # 2: 0 1 # 3: 1 0 distinct(DT) # A B # 1: 0 0 # 2: 0 1 # 3: 1 0 unique(DT, by = "A") # A B # 1: 0 0 # 2: 1 0 distinct(DT, A) # A B # 1: 0 0 # 2: 1 0 ` 但是如mutate, filter等函數 distinct也可以給由變數組成的其他條件來做取唯一列的動作 給個簡單例子： ` R distinct(DT, A*B) # A B A * B # 1: 0 0 0 ` 2. 列行運算 mutate提供了列運算的函數 rowwise 雖然沒有apply好寫，不過效率確實好上不少 至少在chain上可以比較輕易地套用了 要介紹rowwise，還需要介紹do這個函數 do提供一些廣泛的運算方式 像是你可以根據不同變數設立模型如範例所示 ` R set.seed(100) DF = data.frame(A = sample(1:5, 50, TRUE), y = rnorm(50), x = rnorm(50)) models = DF %>% group_by(A) %>% do(model = lm(y ~ x, data = .)) models %>% summarise(mse = mean(model$residuals**2)) # mse # 1 0.07560431 # 2 0.03617592 # 3 0.71000090 # 4 0.35385491 # 5 1.39799410 DT = data.table(A = sample(1:5, 50, TRUE), y = rnorm(50), x = rnorm(50)) models = group_by(DT, A) %>% do(model = lm(y ~ x, data = .)) models %>% rowwise %>% summarise(mse = mean(model$residuals**2)) # mse # 1 0.8953635 # 2 0.3954457 # 3 0.1469698 # 4 0.6303710 # 5 0.2966472 ` data.table出來的結果不會自動group_by row 要自己手動加入rowwise，這點需要注意 do應該有更多應用，需要各位好好開發。 再來，給一個rowwise的應用： ` R set.seed(100) (DT = data.table(A = rnorm(5), B = rnorm(5), C = rnorm(5))) # A B C # 1: -0.50219235 0.3186301 0.08988614 # 2: 0.13153117 -0.5817907 0.09627446 # 3: -0.07891709 0.7145327 -0.20163395 # 4: 0.88678481 -0.8252594 0.73984050 # 5: 0.11697127 -0.3598621 0.12337950 DT %>% rowwise %>% do(k = c(.$A, .$B, .$C)[between(c(.$A, .$B, .$C), 0, 1)]) %>% summarise(size = length(k), sums = sum(k)) # size sums # 1 2 0.4085162 # 2 2 0.2278056 # 3 1 0.7145327 # 4 2 1.6266253 # 5 2 0.2403508 ` colwise提供每一行的做一個動作的方法 其實等同於你用sapply做 只是它還可以讓你選擇你要做的column去做 簡單例子如下： ` R set.seed(100) (DT = data.table(A = rnorm(5), B = rnorm(5), C = rnorm(5))) # A B C # 1: -0.50219235 0.3186301 0.08988614 # 2: 0.13153117 -0.5817907 0.09627446 # 3: -0.07891709 0.7145327 -0.20163395 # 4: 0.88678481 -0.8252594 0.73984050 # 5: 0.11697127 -0.3598621 0.12337950 colwise(function(x) c(mean(x), sd(x)))(DT) # A B C # 1 0.1600685 0.1890685 -0.6537084 # 2 0.8140039 0.7824803 0.5610936 colwise(function(x) c(mean(x), sd(x)), .cols = .(A, B))(DT) # A B # 1 0.1600685 0.1890685 # 2 0.8140039 0.7824803 f = function(x) quantile(x, c(0.05, 0.95)) colwise(f)(DT) # A B C # 1 -0.4175373 -0.7765657 -0.1433299 # 2 0.7357341 0.6353522 0.6165483 ` 3. 值映射(對應修改) 這一節要介紹兩個很好用的函數 plyr:::mapvalues, plyr:::revalue 這兩個函數再處理資料時一定很常用到 我們再整理資料時，有時候會遇到奇異值 我們要把它改成我們想要的值時 大部分人應該都會遇到這個問題 或是有時候我們需要組別整併時也會遇到 給一個簡單的example ` R DT = data.table(col1 = sample(c("A", "B", "N"), 30, TRUE), col2 = sample(c("A1", "B3", "C4", "U9", "Z5"), 30, TRUE), col3 = sample(-2:2, 30, TRUE)) DT2 = copy(DT) ## example 1 - 當初keyin資料出問題，col1出現了"N"這個值，我們要通通改成NA ## 此處提供數種方法做 set(DT, which(DT$col1 == "N"), "col1", NA) DT2 %>% mutate(col1 = ifelse(col1 == "N", NA, col1)) # transform同理 DT2 %>% mutate(col1 = revalue(col1, c(N = NA))) DT2 %>% mutate(col1 = mapvalues(col1, "N", NA)) ## example 2 - 我們想要把col2做調整 A1 改成 B3， U9改成Z5 ## 這裡就直接提供用revalue以及mapvalues的方法 DT2 %>% mutate(col2 = revalue(col2, c(A1 = "B3", U9 = "Z5"))) DT2 %>% mutate(col2 = mapvalues(col2, c("A1", "U9"), c("B3", "Z5"))) ## example 3 - 當初keyin時不小心搞錯col3的-2跟2的正負號，我們要把-2跟2做互換 DT2 %>% mutate(col3 = mapvalues(col3, c(-2, 2), c(2, -2))) ` 最後提示幾個重點， revalue可以用在factor跟character上面，不能用在數值上 mapvalues可以用在integer, double跟character上面，factor要先轉chr 4. 其他函數 這兩個函數 summarise_each, mutate_each，我自己也很少用 我提供一些例子做操作，先用簡單的例子 ` R DT = data.table(X = rnorm(100), Y = rnorm(100)) DT %>% summarise_each(funs(c(median(.), mean(.)))) # X Y # 1: -0.02923809 0.08238550 # 2: -0.09154615 0.05153845 DT = data.table(X = c(3,2), Y = c(1, 4)) DT %>% mutate_each(funs(half = . / 2)) # X Y # 1: 1.5 0.5 # 2: 1.0 2.0 ` 這例子只是很簡單的介紹他們的功能 可能需要時間來累積看看是否有什麼好方法去用這兩個函數 5. 特殊函數 介紹一個我覺得很有趣的函數 here here可以幫助你再使用sapply系列時 可以使用mutate等 提一個簡單的例子 ` R DTs = resplicate(5, data.table(A = rnorm(5)), simplify = FALSE) DTs = lapply(DTs, here(mutate), Asq = A**2) ` 6. function with underscore suffix 本章最後一個重點 怎麼使用像是filter_, select_, mutate_, ...這些以_結尾的function 這些以_結尾的function提供使用者使用string作為input 中間執行的過程透過 lazyeval 來執行 (其實dplyr大部分函數都透過這個套件) 來看幾個簡單的例子 ` R DT = data.table(A = rnorm(5), B = rnorm(5)) DT %>% select_("A") DT %>% select(A) DT %>% mutate(C = A*B) (DT2 = DT %>% mutate_("A*B") %>% setnames("A*B", "C")) ` 這幾個例子應該可以很簡單的解釋有_的函數要怎麼使用 最後給個.dots的用法，這個代表說你可以製作適當的string放入 ` R DT = data.table(x = rnorm(100), y = rnorm(100)) (DT %<>% mutate_(.dots = c("x^2", "y^2")) %>% setnames(c("x^2", "y^2"), c("xsq", "ysq"))) DT %>% select_(.dots = c("y", "xsq")) ` 再給一個簡單的例子 ` R DT = data.table(x1 = rnorm(100), x2 = rnorm(100)) cmds = paste0("x", 1:2, "^2") newnames = c("xsq", "ysq") DT %<>% mutate_(.dots = cmds) %>% setnames(cmds, newnames)) ` 下一章應該會是最後一章了 主要內容是data.table中的 dcast跟melt 還有tidyr的 separate, spread, gather [關鍵字]: dplyr --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.138.206.65 ※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1437573669.A.FB6.html