作者celestialgod (天)
看板R_Language
標題Re: [問題] 讀取csv中特定的row
時間Wed Mar 9 10:42:33 2016
# 全部讀進來在切割就好了：
library(magrittr)
library(data.table)
library(dplyr)
cv_index_f <- function(numSampleSize, numFold){
cvIndex <- rep(1:numFold, each = floor(numSampleSize / numFold))
m <- numSampleSize %% numFold
if (m > 0)
cvIndex %<>% c(1:m)
return(cvIndex %>% sample(length(.)))
}
dat <- data.table(x = rnorm(100), y = rnorm(100))
cvDat <- dat %>% mutate(cvIndex = cv_index_f(nrow(.), 10)) %>%
split(.$cvIndex)
# > str(cvDat)
# List of 10
# $ 1 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] -0.424 -0.181 0.241 0.31 0.874 ...
# ..$ y : num [1:10] 0.272 -1.197 -0.441 -0.499 -2.136 ...
# ..$ cvIndex: int [1:10] 1 1 1 1 1 1 1 1 1 1
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 2 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] -0.533 1.25 -1.689 -1.557 -1.597 ...
# ..$ y : num [1:10] 0.266 1.272 0.876 2.442 0.928 ...
# ..$ cvIndex: int [1:10] 2 2 2 2 2 2 2 2 2 2
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 3 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] 0.437 0.463 2.512 0.919 -1.206 ...
# ..$ y : num [1:10] -1.3943 -1.7927 0.0471 0.9818 -1.0305 ...
# ..$ cvIndex: int [1:10] 3 3 3 3 3 3 3 3 3 3
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 4 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] -0.361 -0.34 0.621 1.266 -0.356 ...
# ..$ y : num [1:10] -0.315 -0.51 -0.257 -1.533 -1.02 ...
# ..$ cvIndex: int [1:10] 4 4 4 4 4 4 4 4 4 4
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 5 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] 1.141 -1.699 -1.076 0.443 0.864 ...
# ..$ y : num [1:10] 0.3992 0.6175 -1.496 -0.7096 0.0923 ...
# ..$ cvIndex: int [1:10] 5 5 5 5 5 5 5 5 5 5
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 6 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] -0.175 -0.785 -2.775 -0.315 0.375 ...
# ..$ y : num [1:10] -0.262 0.811 1.763 -1.197 0.712 ...
# ..$ cvIndex: int [1:10] 6 6 6 6 6 6 6 6 6 6
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 7 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] 1.2276 0.0944 0.9955 -1.0433 0.2058 ...
# ..$ y : num [1:10] -0.216 -0.691 -3.355 1.082 -1.641 ...
# ..$ cvIndex: int [1:10] 7 7 7 7 7 7 7 7 7 7
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 8 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] -0.9693 -0.3944 -0.1652 -0.0932 -1.9734 ...
# ..$ y : num [1:10] -0.0336 1.1692 -0.2655 -1.9138 -1.3532 ...
# ..$ cvIndex: int [1:10] 8 8 8 8 8 8 8 8 8 8
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 9 :Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] -0.36 1.2 -1.17 2.5 1.16 ...
# ..$ y : num [1:10] 0.4338 -0.4115 0.2877 1.2177 -0.0426 ...
# ..$ cvIndex: int [1:10] 9 9 9 9 9 9 9 9 9 9
# ..- attr(*, ".internal.selfref")=<externalptr>
# $ 10:Classes ‘data.table’ and 'data.frame': 10 obs. of 3 variables:
# ..$ x : num [1:10] 1.583 -1.054 -0.362 -0.259 1.229 ...
# ..$ y : num [1:10] -0.135 0.481 -1.52 0.627 0.72 ...
# ..$ cvIndex: int [1:10] 10 10 10 10 10 10 10 10 10 10
# ..- attr(*, ".internal.selfref")=<externalptr>
# 你的case就長這樣：
cvDat <- fread(fileName, sep=',') %>%
mutate(cvIndex = cv_index_f(nrow(.), 10)) %>%
split(.$cvIndex)
# 如果要移除cvIndex，可以直接這樣做
cvDat %<>% lapply(function(x) select(x, -cvIndex))
# or equivalently
cvDat %<>% lapply(select, -cvIndex)
# or use purrr
library(purrr)
cvDat %<>% map(~select(., -cvIndex))
# or equivalently
cvDat %<>% map(select, -cvIndex)
題外話：
不建議你用內建函數的名稱當做變數名稱，ex: seq, file, nrow, c等
※ 引述《MADNUG (就是比你長)》之銘言：
: [問題類型]:
: 效能諮詢(我想讓R 跑更快)
: [軟體熟悉度]:
: 使用者(已經有用R 做過不少作品)
: [問題敘述]:
: 小弟有個3.8G多的csv檔，但只想要隨機讀取1/10的row
: fread好像沒read specific rows的指令，
: 難道只能讀整個檔案再select row了嗎？
: 這樣好沒效率呀.....
: 若要cross-validation的話光I/O就跑死了....
: 想請問有沒有更效率一點方法呢？
: 謝謝了
: [程式範例]:
: 參考網路用fread + nrow and skip 寫了一下，但是更慢Orz.....
: 但也是預料中啦XDD
: http://pastebin.com/gW9W1GmN
: [關鍵字]:
:
: fread
:
--
R資料整理套件系列文：
magrittr #1LhSWhpH (R_Language) http://tinyurl.com/1LhSWhpH
data.table #1LhW7Tvj (R_Language) http://tinyurl.com/1LhW7Tvj
dplyr(上) #1LhpJCfB (R_Language) http://tinyurl.com/1LhpJCfB
dplyr(下) #1Lhw8b-s (R_Language)
tidyr #1Liqls1R (R_Language) http://tinyurl.com/1Liqls1R
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.109.74.87
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1457491357.A.F28.html
1F：推 MADNUG: 謝謝！但資料量大的話，這樣就有記憶體不足的問題了吧？ 03/09 11:53
2F：→ MADNUG: 會不想整個讀進去,其中一個考量也是記憶體Orz 03/09 11:55
因為我看到你直接分段讀進去，我才想說你沒有記憶體問題XDD
如果你有記憶體問題，就只能利用硬碟做快取，看你原本那篇推文的 ff 套件吧
3F：→ MADNUG: 因為讀資料後，記憶體已經剩不多,再C-V的話就爆了 03/09 11:59
讀十次跟讀一次拆十份，記憶體確實差了兩倍...
如果沒辦法讀一次解決，就只能用ff了
不然就是讀進來 給cvIndex，每次給一個subset做validation，不去存下來就好
※ 編輯: celestialgod (140.109.74.87), 03/09/2016 12:05:03
4F：→ MADNUG: 記憶體問題真是棘手囧...我來研究ff試試，謝謝了! 03/09 12:06