作者kenfossil (阿卷)
看板R_Language
标题[问题] 大数据要汇入R
时间Tue Nov 8 16:36:45 2016
[软体熟悉度]:
入门(学习约莫1年)
[问题叙述]:
有一笔（12968*11046）的大型矩阵（0和1组成），使用read.table一次读进R时，出现记
忆体不够问题！
若想要一次一列的读取进来後，做分析完後，再读取下一列资料，以这样一列一列的逐步
分析！
先感谢各位版友！！
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.139.199.249
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1478594207.A.8A5.html
※ 编辑: kenfossil (223.139.199.249), 11/08/2016 16:37:17
1F：→ andrew43: read.table 可指定 nrows skip colClasses 可能有帮助。 11/08 17:24
2F：→ andrew43: 或是直接改用 data.table::fread() 看看 11/08 17:25
3F：→ kenfossil: 感谢andrew43大大！ 有试出来了！！ 11/08 21:07
4F：→ andrew43: 也可以试试 bigmemory::read.big.matrix() 11/08 21:07
5F：→ andrew43: 其实你的资料其实不算很大…电脑可用的记忆体是否不多了 11/08 21:08
6F：→ Wush978: 正常应该吃1G记忆体，这可以算得 11/09 01:41
7F：推 f496328mm: bigmemory套件不错用 可以搜寻cywhale的文章 11/09 23:31
8F：→ f496328mm: 目前我都用这个 处理3g左右的data 11/09 23:32