作者toptaster (icewine)
看板R_Language
標題[問題] 輸入資料筆數限制
時間Wed Mar 18 23:10:31 2015
不知道R有沒有輸入資料大小的限制?
我把一個存有約20萬筆的.csv檔用read.table匯入R後，
R內的資料筆數只有8萬多筆，整個匯入過程沒有出現錯誤訊息，
不知道是read.table的限制還是R本身限制？
有沒有辦法解決？
先謝謝各位解答。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 217.189.188.210
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1426691444.A.356.html
1F：→ Wush978: 你先檢查看看匯入的Table最後一列有沒有什麼問題看看 03/19 00:19
2F：→ Wush978: 20萬這個數字本身不會挑戰到R的極限，問題應該在別處 03/19 00:20
3F：→ celestialgod: 如果是正規的csv，可以試試data.table的fread看看， 03/19 00:23
4F：→ celestialgod: 比較能夠給一些錯誤訊息。 03/19 00:23
5F：→ toptaster: @Wush978 原資料Table跟匯入後的TABLE除了資料筆數不 03/19 01:15
6F：→ toptaster: 同外，一切正常。 03/19 01:15
7F：→ toptaster: @celestialgod 用fread匯入資料筆數只多了約五千筆， 03/19 01:16
8F：→ toptaster: 離20萬還有一段距離。 03/19 01:17
9F：→ celestialgod: 所以還是沒有錯誤訊息？ 03/19 01:17
10F：→ celestialgod: 有確定memory沒被用盡嗎？？ 03/19 01:18
11F：→ toptaster: 只有對資料型態的警告訊息另fread好像不能用dec=","? 03/19 02:42
12F：→ toptaster: 沒有顯示記憶體方面問題。 03/19 02:50
13F：→ celestialgod: dec? fread通常是用sep2，詳細可以讀manual 03/19 08:40
14F：→ celestialgod: 資料型態的錯誤是什麼錯誤? 有時候可能是關鍵。 03/19 08:41
15F：→ psinqoo: 先看資料型態是什麼? 我之前有遇到資料被塞入怪怪的東西 03/19 08:57
16F：推 psinqoo: 我十萬筆資料一樣吃入 而且是windows~ 03/19 09:03
17F：→ psinqoo: 不過之前 也發生類似像原PO的事件 主要是被塞入特殊符號 03/19 09:04
18F：→ psinqoo: 因為是網路抓的 所以每次讀到一半就中斷 或讀很久 03/19 09:05
19F：推 Edster: 你有讀進來後, 再寫出來嗎？ 03/19 14:03
20F：→ Edster: 說不定是分隔符號的問題 03/19 14:04
21F：→ toptaster: 還是找不出原因，後來只好改用readLines解決。 03/19 17:54