R_Language 板


LINE

使用經驗:2年,還OK [問題] 我在使用R將資料存成不同檔案 首先是我有一筆大資料 A 我已經預先把 A 切割成 a1,a2,a3...,a140 再來是我寫迴圈,讓資料自動讀入、寫出,但是碰到問題是迴圈j 在一開始j=1到5時,都跑得很快,但是等j比較大之後就跑很慢 我有打開工作管理員看,比較發現每次回圈 都會使得R在"記憶體"的部分佔更大的比例, 後面甚至會佔到70%電腦記憶體以上。 我的疑問是,我回圈內所有的名稱,都是相同的名稱,應該下一次迴圈 都會覆蓋掉前一次迴圈物件才對, 不應該每跑一次迴圈,佔更多的記憶體阿? [MY CODE] library(data.table) for(j in 0:34) { code@#$ rm(list=ls(all=TRUE)) } 裡面的 code@#$= 讀取 連續的4筆資資料 b1=a(j*4+1) b2=a(j*4+2) b3=a(j*3+3) b4=a(j*4+4) #相當於j=0時讀取 a1,a2,a3,a4 B=rbind(b1,b2,b3,b4) 寫成B之後我有再刪減掉一些不需要的欄或列,以及加入一些新的變項 加入的變數我舉個例子,因為我怕記憶體會不足跟這個有關 Disease =cbind(Disease1 ,Disease2 ,...,Disease29) Medicine=cbind(Medicine1,Medicine2,...,Medicine23) 最後是把加入的變數跟刪減後小很多的B合併再一起存成一個text檔 Final=cbind(B,Disease,Medicine) write.table(Final,file = paste0('C:/users/data',j+1,'.txt')) #相當於每個迴圈對應存成1個data #data1到data34 想請問有碰過類似問題的人怎麼解決呢? 我也有google過R memory,很多都是在討論rm()和gc() 但是我看不太懂gc()...... 想請有經驗的人幫幫我 不論你是誰,真的非常謝謝你的分享 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 120.126.86.221
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1470285484.A.7A9.html
1F:→ celestialgod: R的物件回收沒你想像中聰明 08/04 18:17
2F:→ celestialgod: 雖然覆蓋掉同名物件,可是你在做binding他會先做 08/04 18:18
3F:→ celestialgod: 複製的動作 08/04 18:18
4F:→ celestialgod: 盡量不要在for裡面做bind,建議都用sapply+do.call 08/04 18:18
5F:→ celestialgod: 有完整可以跑的範例 在寫給你看 08/04 18:19
6F:→ Wush978: rbind的問題吧 08/05 22:04
7F:→ clickhere: assign才會複製.biding不會.沒必要在loop裡做rm or gc. 08/05 22:23







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Tech_Job站內搜尋

TOP