作者toptaster (icewine)
看板R_Language
标题[问题] 输入资料笔数限制
时间Wed Mar 18 23:10:31 2015
不知道R有没有输入资料大小的限制?
我把一个存有约20万笔的.csv档用read.table汇入R後，
R内的资料笔数只有8万多笔，整个汇入过程没有出现错误讯息，
不知道是read.table的限制还是R本身限制？
有没有办法解决？
先谢谢各位解答。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 217.189.188.210
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1426691444.A.356.html
1F：→ Wush978: 你先检查看看汇入的Table最後一列有没有什麽问题看看 03/19 00:19
2F：→ Wush978: 20万这个数字本身不会挑战到R的极限，问题应该在别处 03/19 00:20
3F：→ celestialgod: 如果是正规的csv，可以试试data.table的fread看看， 03/19 00:23
4F：→ celestialgod: 比较能够给一些错误讯息。 03/19 00:23
5F：→ toptaster: @Wush978 原资料Table跟汇入後的TABLE除了资料笔数不 03/19 01:15
6F：→ toptaster: 同外，一切正常。 03/19 01:15
7F：→ toptaster: @celestialgod 用fread汇入资料笔数只多了约五千笔， 03/19 01:16
8F：→ toptaster: 离20万还有一段距离。 03/19 01:17
9F：→ celestialgod: 所以还是没有错误讯息？ 03/19 01:17
10F：→ celestialgod: 有确定memory没被用尽吗？？ 03/19 01:18
11F：→ toptaster: 只有对资料型态的警告讯息另fread好像不能用dec=","? 03/19 02:42
12F：→ toptaster: 没有显示记忆体方面问题。 03/19 02:50
13F：→ celestialgod: dec? fread通常是用sep2，详细可以读manual 03/19 08:40
14F：→ celestialgod: 资料型态的错误是什麽错误? 有时候可能是关键。 03/19 08:41
15F：→ psinqoo: 先看资料型态是什麽? 我之前有遇到资料被塞入怪怪的东西 03/19 08:57
16F：推 psinqoo: 我十万笔资料一样吃入 而且是windows~ 03/19 09:03
17F：→ psinqoo: 不过之前 也发生类似像原PO的事件 主要是被塞入特殊符号 03/19 09:04
18F：→ psinqoo: 因为是网路抓的 所以每次读到一半就中断 或读很久 03/19 09:05
19F：推 Edster: 你有读进来後, 再写出来吗？ 03/19 14:03
20F：→ Edster: 说不定是分隔符号的问题 03/19 14:04
21F：→ toptaster: 还是找不出原因，後来只好改用readLines解决。 03/19 17:54