作者celestialgod (攸蓝)
看板R_Language
标题Re: [问题] 想利用data.table将Rawdata切割栏位
时间Mon Feb 23 21:05:43 2015
> [问题叙述]:
> 各位前辈们好,
> 小弟有一笔资料大约为500MB左右,
> 因这笔资料为原始档案,
> 还没将栏位定义好,
> 所以小弟想询问如何读入data.table後,
> 在将栏位进行切割？
>>
> example:
> var1
> 1 001female 2019920404
> 2 002male 3019920505
> 3 003male 4019920606
> 4 004female 5019920707
>>
> 希望可以透过栏位切割後变成：
> id sex income birthday
> 1 001 female 20 19920404
> 2 002 male 30 19920505
> 3 003 male 40 19920606
> 4 004 female 50 19920707
手痒写了一下@@
code:
library(data.table)
library(magrittr)
dat = fread("001female2019920404\n002male 3019920505\n003male
4019920606\n004female5019920707\n", sep="\n", sep2="", header=FALSE)
library(Rcpp)
library(inline)
sourceCpp(code = '
#include <Rcpp.h>
using namespace Rcpp;
// [[Rcpp::export]]
List dat_split_f( std::vector< std::string > strings, NumericVector loc) {
int loc_len = loc.size(), num_strings = strings.size();
List output(num_strings);
for( int j=0; j < num_strings; j++ )
{
std::vector< std::string > tmp;
for (int i=0; i < loc_len-1; i++)
tmp.push_back( strings[j].substr(loc[i], loc[i+1] - loc[i]) );
output[j] = tmp;
}
return output;
}')
# 第二个input 第一个固定是0 第二个是第一个字串结束位置
# 第三个是第二个字串结束位置，依此类推，有k个column放k+1个值
# 这个可以用手算，也可以用regular expression去找对应位置，自行定夺
# 补充: 用C++逻辑想是，前k个是每个字串开始位置，最後一个是总长度
dat_split = dat_split_f(dat[[1]], c(0, 3, 9, 11, 19)) %>%
do.call("rbind", .) %>% data.table()
# 之後自行再把需要转成数字的chr转成numeric就好
测试一下40万个row
dat = fread(paste0(rep("001female2019920404\n002male 3019920505\n003male
4019920606\n004female5019920707\n", 100000), collapse=""),
sep="\n", sep2="", header=FALSE)
tt = proc.time()
dat_split = dat_split_f(dat[[1]], c(0, 3, 9, 11, 19)) %>%
do.call("rbind", .) %>% data.table()
proc.time() - tt
# user system elapsed
# 3.34 0.01 3.50
四百万个ROW大概是67秒
CPU: Intel Celeron
[email protected] in windows 7 64bit with R 3.1.2
还要更快可以找我的文章(R_Language
#1JiQHkrP)，在Rcpp中加入openmp加速
Reference:
http://gallery.rcpp.org/articles/strings_with_rcpp/
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 125.230.162.193
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1424696746.A.6B3.html
※ 编辑: celestialgod (125.230.162.193), 02/23/2015 21:30:39
1F：推 cywhale: 推～晚点来试看看 02/23 22:33
2F：推 squallscer: 非常感谢！我会在试试看！！ 02/23 22:38
3F：推 squallscer: 错误在eval(expr, envir, enclos) : basic_string 02/24 13:54
4F：→ squallscer: 我是使用OSX 的 R 3.1.2 请问一下是系统问题吗？ 02/24 13:55
可能是compiler的差异，我稍微GOOGLE一下，Rcpp在OS有使用上的问题
5F：推 squallscer: 奇怪了＠＠,我刚刚使用win7 64bit R3.1.2也不行 02/24 19:35
请问过去有使用过Rcpp吗？
若没有，可以在
http://tinyurl.com/q5ozbmc 找到相关资讯
要不要先确定一下是否有安装成功，并且安装Rtools，
把Rtools的路径加入你的系统Path中？
不行用是否有出现什麽错误讯息？
最简单的解决方法找一台linux电脑来用~~
6F：→ andrew43: c版友，下次您贴这种优质好文的时候别把原文删了啦， 02/24 20:01
7F：→ andrew43: 这样收以及别人查阅都会比较方便。 02/24 20:01
对不起，我下次会注意
8F：→ andrew43: 干嘛道歉啦 XD 02/24 20:12
感觉不用对不起开头，不知道要用什麽...
9F：推 squallscer: 推c大热心且优质文章！ 第一次使用rcpp,我会先看相关 02/24 20:23
第一次使用的话，我可以先给你一个简单的guide
windows上的使用，主要要先有Rtools，可以在R网站上找到，
最简单的方式直接GOOGLE
第二个就是下载 Redmond Path
这个软体比较容易去更改系统路径
第三个建议R跟Rtools都安装在C底下
例如：C:\R\R-3.1.2 or C:\R\Rtools
最後要把Rtools的路径加入path，就利用Redmond Path
把Rtools下的两个路径加入，以上面建议为例
c:\R\Rtools\gcc-4.6.3\bin
c:\R\Rtools\bin
做完之後，基本上Rcpp就可以正常运作了
至於linux就更简单了，安装完R，我记得就能用了
10F：→ andrew43: 耶，谢谢你贴原文回来！ 02/24 20:26
为了您的一句话阿！
※ 编辑: celestialgod (125.230.162.193), 02/24/2015 20:29:42
11F：→ celestialgod: 後来发现str_sub {stringr}比substr快不少 03/01 12:08