作者Wush978 (拒看低质媒体)
看板R_Language
标题[心得] batch_fetch.R
时间Wed May 22 22:57:45 2013
[关键字]: R, SQL, data.table
由於最近我常常要从database读取数千万到数亿笔资料到R,
所以我研究了如何方便和快速的读取资料。
在资料量极大的状况下,用R 常常会遇到用光memory的问题,
而我目前是用data.table这个套件来解决memory的问题。
目前我写了一个batch_fetch函数,
对於DBI 介面的资料库套件,如RSQLite, RMySQL, RPostgreSQL和ROracle,
应该都可以用... (但是我只有在RSQLite上用过)
source code 放在:
https://gist.github.com/wush978/5626223
欢迎任何指教,
也欢迎其他板友分享资料读取相关的议题!
谢谢
--
欢迎加入 Taiwan R User Group :
http://www.facebook.com/Tw.R.User
我们每周一都有在「政大公企中心(台北市金华街187号)西楼WB05」
举办Machine Learning / Data Mining Monday:
报名
http://www.meetup.com/Taiwan-R/
聚会影片
https://www.youtube.com/user/TWuseRGroup
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 118.166.97.9