※ 引述《fairwind (應天風)》之銘言： : 我今天有請人測了一下 : data5G : 筆數80萬筆 : : sas code 大概長這樣吧 : ---------- : proc sort data=abc : by var_a : run; : : 1.在C:下 : real time:5:30 : cpu time:0:30 : : 2.裝在ramdisk下 (ramdisk有9G) : 不管怎麼試都會出現 out of resource? : 然後只能中止程式 : 想請問這裡是什麼問題? : 謝謝 試著監控你放work這個lib的實體目錄 看看檔案的增長狀況 之前的經驗是程式寫錯 造成資料無限制膨脹然後爆掉 或是 work的lib設到C碟去了 C碟哪夠這樣操 : -- :

※ 發信站: 批踢踢實業坊(ptt.cc) : ◆ From: 140.112.86.144 : → kingbee:我猜因該是SAS在讀取時快取檔案非常大 ramdisk的限制 03/17 16:10 : → kingbee:在控制台那邊監控看看 不知道是不是 我有接觸過健保資料 03/17 16:11 : → kingbee:上百萬筆連讀進去都等快20分鐘了 早期更不用說 03/17 16:11 IO本來就很慢的 我做個兩百M的extraction都夠我抽根菸了 : → kingbee:你的語法那邊 by 後面是不是沒加分號; 03/17 16:13 : 推 pohsin:還有一個方法可以參考，盡量不要排序，排序很花時間，盡量 03/17 19:52 : → pohsin:用proc sql的方式來處理資料，可以不用排序，速度上快很多 03/17 19:53 在幾萬筆的小資料量下 沒有經過sort的SQL指令的確會比較快 但是資料量一大 真的建議要先sort過 不然SAS不會那麼沒事找事做 一大堆需要先sort的指令怎不先幫你sort過才執行 扣除IO的因素 很多資料處理很慢往往是因為資料結構沒做好 資料結構往往是非IT人員最容易亂搞的地方 反正資料結構弄好跑1分鐘也是跑 跑1小時也是跑 反正硬體這麼便宜 就給它掛上去 我不知道原po的資料長怎樣 也不太清楚你所謂的"很基本的程式" 扣除硬體因素 建議的方式有 1.加index 這技巧比較難一點 你可以試著去找網路上的說明 2.以數字處理 例如在合併的時候 欄位值是"1" 和欄位值是1 處理速度就有差 當上百萬筆在處裡的時候 差的可能是一包菸時間了 同樣的 原po的程式中 : proc sort data=abc : by var_a : run; var_a如果剛好是 數字型的文字 你自己可以試試看時間差多少 3.多下點條件值 或是先刪除你之後根本不會用到的資料 --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 118.167.189.144 ※ 編輯: liton 來自: 118.167.189.144 (03/17 23:01)