作者bcs (= ="frailty..gggg XD)
站內Statistics
標題[程式] sas的讀檔效率
時間Thu Oct 1 21:02:56 2009
------------------------------------------------------------------------
[軟體程式類別]:
SAS
[程式問題]:
如何提高讀檔效率
[軟體熟悉度]:
中(3個月到1年)
[問題敘述]:
有筆處理過的大資料約有500mb，我用proc export將之輸出。原本習慣
dbms=csv的方式存檔，因為方便excel做後續處理。但是存檔之後利用
proc import時卻發現sas讀取該資料的速度滿慢的，
請問各位sas存取大資料時，應設選擇哪一種格式才能讓sas的
讀取的速度較快？
sas支援的dbms格式:
http://www.tau.ac.il/cc/pages/docs/sas8/proc/z0316288.htm
[程式範例]:
-----------------------------------------------------------------------------
謝謝^^"
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.86.136
1F：→ tew:如果可以，EXCEL處理的東西可以用SAS來處理 10/02 00:13
2F：→ tew:基本上我都是處理到最後才會輸出到xls檔 10/02 00:14
3F：→ tew:否則，500mb的確是要讀一陣子 10/02 00:14
4F：→ kingbee:500M資料大讀取本來就久 但我習慣會先轉dat 或 txt 10/02 13:31
5F：→ kingbee:因為excel有一個很頭痛的格式"通用格式" 這個問題孰大孰小 10/02 13:32
6F：→ kingbee:端看你有沒有遇過這個問題而定 10/02 13:32
7F：→ kingbee:若想帶有變相格式 我都會用Excel轉 dbf 型態在讀 方便很多 10/02 13:33
8F：→ kingbee:我有個疑問你用SAS轉出檔案至excel檔時 你有注意過觀察值 10/02 16:44
9F：→ kingbee:你的資料量多大和轉到excel時的資料量一樣嗎 10/02 16:45
10F：→ kingbee:excel XP版只能上限65535筆資料 2007版好像也只能到幾百萬 10/02 16:46
11F：→ bcs:我用csv為外存格式可以存到１千多萬筆 用sas進來也是這數字 10/02 22:25
12F：→ bcs:沒用過excel開過，所以不知excel裡能顯示的觀測值數為多少 10/02 22:28