作者tew (咖啡王子)
站内Statistics
标题Re: [问题] SAS跑大量资料所需的时间
时间Mon Mar 16 23:44:10 2009
※ 引述《fairwind (应天风)》之铭言:
: 想请问大家SAS在跑大资料时所需的时间
: 资料档约5G左右
: 下面是研究室新购的配备
: =============================
: CPU:Intel i7-940
: RAM:Transcend DDR3 1333 2G*6
: HDD:Hitachi 640G
: O.S:WinXP pro 32bit
: =============================
: 资料档80多万笔,700多个变数
: 跑一些基本的程式 就会很久(其实老师大概只试20分钟)
: 老师没有很满意 想请问像这种大资料档一般的处理时间约为多少?
: 还有一个问题是 学校的SAS(9.13)只支援32bit的作业系统
: 如果换成x64的系统 也就是记忆体可以读到12G 跑程式的时间会大幅减少吗
: 想请教有经验的版友们
: 谢谢
电脑设备
CPU:Intel E8400
RAM:威刚 DDR2 800 2G*2
HDD:Hitachi 640G (不是那麽重要)
O.S:WinXP pro 32bit
我跑250G的资料(日内资料 每天一个档案)
花一个多小时整理好
重点是 我把资料切割处理
最後在合并成最终档案(每日整理出最後档案档案会很小)
另外
如果不是700多个变数要一起处理
我会建议先把档案切割出来 (另外存档)
每次都针对要处理的变项跑就好
保证会比较快
个人经验 当档案变成原来的两倍大时
SAS执行的时间会是原来档案的4倍
(当然这只是概估 也仅是个人经验)
这些都是能让执行程式时间变短的关键因素
当然 你们也可以花钱 买到 可以5G的资料 SAS执行程式时间只要几秒钟
那麽那时候 管他变成原来的4倍
5秒钟变到20秒钟
你连上厕所的时间都来不及
也就不需要改程式
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 125.225.38.15
1F:推 fairwind:谢谢版主及上篇推文的版友们 我会试着跟老师反映 03/16 23:51