作者Wush978 (拒看低質媒體)
看板R_Language
標題Re: [問題] 透過R使用Rhdfs package讀取超大CSV檔
時間Thu May 22 13:32:20 2014
※ 引述《dppman (*^o^*)》之銘言：
: ※ 引述《dppman (*^o^*)》之銘言：
: : [問題類型]:
: : 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
: : [軟體熟悉度]:
: : 入門(寫過其他程式，只是對語法不熟悉)
: : [問題敘述]:
: : 使用R透過RHadoop的Rhdfs 1.0.8
: : [程式範例]:
: : 我目前的實驗環境，需要讀取很大的CSV File（存放在Hadoop的HDFS上，檔案大小幾乎
: : 都大於20GB），
: : 我使用了RHdoop的rhdfs R Package
: : Ref.
: : https://github.com/RevolutionAnalytics/RHadoop/wiki
: : 使用Rstudio Web版開發，原始碼如下
: : *************************************************************************************************
: : Sys.setenv(HADOOP_CMD="/usr/lib/hadoop/bin/hadoop")
: : Sys.setenv(HADOOP_STREAMING="/usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-101.jar")
: : Sys.setenv(HADOOP_COMMON_LIB_NATIVE_DIR="/usr/lib/hadoop/lib/native/")
: : library(rmr2);
: : library(rhdfs);
: : library(lubridate);
: : hdfs.init();
: : f = hdfs.file("/bigdata/rawdata/201312.csv","r",buffersize=104857600);
: : m = hdfs.read(f);
: : c = rawToChar(m);
: : data = read.table(textConnection(c), sep = ",");
: : *************************************************************************************************
: : 讀完後，發現它只讀進了前一千五百多筆的資料，正確應該有一億多筆
: : *************************************************************************************************
: : 去Google了一下，有查到下列這個解的方向
: : “rhdfs uses the java api for reading files stored in hdfs.
: : That api will not necessarily read the entire file in one shot.
: : It will return some number of bytes for each read.
: : When it reaches the end of the file it returns -1.
: : In the case of rhdfs, and end of the file will return NULL.
: : So, you need to loop on the hdfs.read call until NULL is returned”
: : 不過看了rhdfs的手冊，並沒有仔細提到上面解法關於hdfs.read()的行為:<
: : 不知道有人有這方面經驗嗎？
: : [關鍵字]:
: : R, Large Scale Data Set, Big Data, Hadoop, RHadoop, CSV, HDFS, rhdfs
: : Thanks in advance!
: 我試了repeat：
: repeat {
: m = hdfs.read(f)
: c = rawToChar(m)
: print(c)
: if ( is.null(c) ) break
: }
: 可是跑好久還沒跑完...
: 我是用Web版的RStudio開發，看了一下m的type是raw...
: Sorry..我只剩C還在腦中有，R實在跟他不熟....
: 不知道是否有人可以指點一下...，這樣的寫法是否OK？怎麼增加效能呢？
: Thanks in advance!
:
建議你先測量一下throughput
```r
start.time <- Sys.time()
repeat {
m = hdfs.read(f)
duration <- as.numeric(difftime(Sys.time(), start.time, unit = "secs"))
print(length(m) / duration) # 每秒的bytes數
start.time <- Sys.time()
}
```
先看一下hdfs.read的效能，如果throughput是1MB / s的速度的話
20G 需要 20*2^30 / 2^20 秒，大約是5.6小時
---
也建議你另外量測一下hdfs fs -put 的頻寬，
拿來和你在R 裏面的測到的throughput做比較。
兩者的差距是你可以在R 裡面優化的程度。
所以如果兩者差不多快的話，其實你R 怎麼改也是這樣。
FYI
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.56.60
※ 文章網址: http://webptt.com/m.aspx?n=bbs/R_Language/M.1400736744.A.C95.html
※ 編輯: Wush978 (220.135.56.60), 05/22/2014 13:33:22