作者kenfossil (阿捲)
看板R_Language
標題[問題] 大數據要匯入R
時間Tue Nov 8 16:36:45 2016
[軟體熟悉度]:
入門(學習約莫1年)
[問題敘述]:
有一筆（12968*11046）的大型矩陣（0和1組成），使用read.table一次讀進R時，出現記
憶體不夠問題！
若想要一次一列的讀取進來後，做分析完後，再讀取下一列資料，以這樣一列一列的逐步
分析！
先感謝各位版友！！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.139.199.249
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1478594207.A.8A5.html
※ 編輯: kenfossil (223.139.199.249), 11/08/2016 16:37:17
1F：→ andrew43: read.table 可指定 nrows skip colClasses 可能有幫助。 11/08 17:24
2F：→ andrew43: 或是直接改用 data.table::fread() 看看 11/08 17:25
3F：→ kenfossil: 感謝andrew43大大！ 有試出來了！！ 11/08 21:07
4F：→ andrew43: 也可以試試 bigmemory::read.big.matrix() 11/08 21:07
5F：→ andrew43: 其實你的資料其實不算很大…電腦可用的記憶體是否不多了 11/08 21:08
6F：→ Wush978: 正常應該吃1G記憶體，這可以算得 11/09 01:41
7F：推 f496328mm: bigmemory套件不錯用 可以搜尋cywhale的文章 11/09 23:31
8F：→ f496328mm: 目前我都用這個 處理3g左右的data 11/09 23:32