作者azimuth ()
看板Statistics
标题Re: [问题] SAS跑大量资料所需的时间
时间Wed Mar 18 00:56:38 2009
※ 引述《liton (欧吉桑留学生)》之铭言：
: ※ 引述《fairwind (应天风)》之铭言：
: : 我今天有请人测了一下
: : data5G
: : 笔数80万笔
43
小弟我也是在处理超大量资料
之前都是抓出一些样本来试作
程序结果ok 耗费时间也短~
可是...就在我要一次全部原始资料下去run时
我才惊觉事情大条了@@
这也是现在十分困扰我的地方
原始资料: 6年交易纪录76,113,236笔 (不用怀疑!)
光是用一个PROC SQL筛出一个帐户的资料就耗掉快3分钟
简化的程序如下:
PROC SQL ;
CREATE TABLE no39 AS
SELECT *,
PUT(var1,DATE9.) AS time1 LENGTH=9 LABEL="时间1" ,
PUT(var2,MONYY7.) AS time2 LENGTH=7 LABEL="时间2" ,
var3 AS time3 FORMAT=TIME. LABEL="时间3" ,
var4 AS time4 FORMAT=TIME. LABEL="时间3"
FROM readall49
WHERE acc_no=39;
QUIT;
PROC SORT DATA=no39 ;
by var1 var2 var3 var4 ;
RUN;
以上看的懂的人就看的懂 没有ERROR
其中readall49就是原始资料
var1--var4都是SAS时间
*部分有13个变数
PROC SQL的real time约2.5分钟
PROC SORT的real time约0分钟(连1秒都不到)
我不知道还能再精简什麽? 有办法使系统再处理快一点吗?
总共有近30万个帐户呀~
--
硬体等级:
CPU:INTEL E7200
RAM:创见4GB
HDD:WD6400AAKS(系统碟)
HDD:WD6400AAKS(资料碟) SAS软体及资料都放在这颗
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.115.220.209
※ 编辑: azimuth 来自: 140.115.220.209 (03/18 00:57)