作者kenshin528 (成立奧凶帝國!!)
站內Statistics
標題Re: [問題] SAS跑大量資料所需的時間
時間Tue Mar 17 12:25:14 2009
※ 引述《fairwind (應天風)》之銘言：
: 想請問大家SAS在跑大資料時所需的時間
: 資料檔約5G左右
: 下面是研究室新購的配備
: =============================
: CPU：Intel i7-940
: RAM：Transcend DDR3 1333 2G*6
: HDD：Hitachi 640G
: O.S：WinXP pro 32bit
: =============================
: 資料檔80多萬筆,700多個變數
: 跑一些基本的程式 就會很久(其實老師大概只試20分鐘)
: 老師沒有很滿意 想請問像這種大資料檔一般的處理時間約為多少?
: 還有一個問題是 學校的SAS(9.13)只支援32bit的作業系統
: 如果換成x64的系統 也就是記憶體可以讀到12G 跑程式的時間會大幅減少嗎
: 想請教有經驗的版友們
: 謝謝
看你程式寫法， 一般大量資料合併會一直讀寫硬碟，讀寫硬碟速度就是那麼慢
你cpu再快也會被拖累。
我現在的作法是把一部分的ram做ramdisk
sas work檔都放到ram裡面跑，跑到一個段落(或是ram disk空間不夠時)
就存到硬碟，這樣整理來說的速度差很多~參考一下
--
(
C)lass 【 分組討論區 】
11 卡漫夢工廠 卡通, 漫畫, 動畫 [Ckmike]
4 C_J_Artist
作家 Σ日本漫畫家專區 [Ckmike]
10 TakahasiShin 作家 ◎****高橋真作品討論版**** kenshin528
http://kenshinsasstory.blogspot.com/ SAS Story
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.119.233.38
1F：→ kingbee:用磁碟陣列...... 03/17 12:40
2F：→ kingbee:過原苦主插了好多記憶體的情況 因該用這招也不錯 03/17 12:43
3F：推 fairwind:我有在試著用ramdisk了 不過卡在fat32的問題 03/17 12:45
4F：→ fairwind:還在想辦法格式化成ntfs 03/17 12:45
5F：→ kingbee:期待你的測試結果 XD 03/17 15:47
6F：→ kingbee:不過倒是有外國人裝了24顆固態硬碟在測試的 03/17 15:49
7F：→ liton:買台4x4然後插滿記憶體 03/17 21:17