作者milkdad (milkdad)
看板R_Language
标题[问题] .txt的资料汇入及行列转换
时间Tue Sep 1 13:53:25 2015
文章分类提示:
- 问题: 当你想要问问题时，请使用这个类别
[问题类型]:
程式谘询(我想用R 做某件事情，但是我不知道要怎麽用R 写出来)
[软体熟悉度]:
新手(没写过程式，R 是我的第一次)
[问题叙述]:
想汇入一个约100mb的.txt档
此档案的“列”只有12笔 但“行”有约92万笔
因此想要做行列转换 以利後续分析
但天真如我却发现连汇入资料都成问题
[程式范例]:
我是想直接用read.table的方式汇入 再用 t()来转置 如下
datfile=paste(路径, '档案.txt', sep='')
data=read.table(datfile, header=TRUE,sep='\t')
但到了这一步 R就一直转了两个小时 因此还没试到行列转换
才想上来询问 麻烦各位大大帮忙
[环境叙述]:
作业系统：OSX 10.9.5
R版本：3.1.3
[关键字]:
资料汇入 行列转换
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.112.117.61
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1441086807.A.EB3.html
1F：推 Edster: 不至於这麽慢吧，我常常在读500~600Mb的档案，几秒就结束 09/01 15:04
2F：→ Edster: 大资料可以翻阅20150721 C大发的那几篇文. 09/01 15:06
3F：→ Edster: 或是试试readr::read_table, 作者也是dplyr的作者. 09/01 15:08
4F：→ Edster: 这个package下的读档案非常快. 上礼拜才读过5G的档. 09/01 15:10
5F：→ milkdad: 好的 我试试看！感谢回覆 我一开始也觉得不会这麽慢才对 09/01 16:14
6F：→ celestialgod: 瓶颈应该在column class checking... 09/01 16:27
7F：→ celestialgod: 建议全部设定成character，读进来再依照自己需求做 09/01 16:27
8F：→ celestialgod: 转换 09/01 16:27
9F：推 celestialgod: 我说的column class可以在read.table的colClasses 09/01 16:31
10F：推 celestialgod: 选项设定 09/01 16:31
11F：→ celestialgod: 我自己测试之後，还是直接读比较好 09/02 01:22
12F：→ celestialgod: 转换成本太高 09/02 01:22
13F：→ celestialgod: 除非确定你要直接横转直，每一个ROW的元素都同样类 09/02 01:22
14F：→ celestialgod: 型 09/02 01:22