R_Language 板


LINE

※ 引述《lianhua (蓮華)》之銘言: : [問題類型]: : 程式諮詢 : [軟體熟悉度]: : 使用者 : [問題敘述]: : 因為我需要跑大量的貝氏模擬,大迴圈次數500次 : 大迴圈裡面的小迴圈20000次 : 每一次小迴圈都需要生成一個5XM (M大概100左右) 的矩陣 : 但是我的電腦大迴圈大概都跑個200次左右就會跳出 : 錯誤: 無法配置大小為 526.2 Mb 的向量 : 這種訊息 請問是我的電腦記憶體不足,還是語法太拙劣? 理論上演算法需要的記憶體,都是可以事先評估出來的。 我先假設你迴圈中生成的矩陣都要保留在記憶體。 一個numeric value需要 8 bytes 的記憶體空間, 這樣的話,一個小迴圈需要 500 * 8 bytes 的空間,大約 4 kb。 一個大迴圈要20000 次小迴圈,所以就是 80000 kb ,大約是 80 mb。 500次大迴圈需要 40000 mb, 大約是 40 Gb 的記憶體。 你的電腦有這麼多記憶體嘛? 或是你需要保留每次生成的矩陣嘛?有沒有確實清理掉? 另外R 在記憶體的使用上還有另外一個問題: (請看下面的說明) : [程式範例]: : 程式很長,所以僅貼部分 : N = 500 : L0 = numeric() : L1 = numeric() : L2 = numeric() : Alpha1 = numeric() : Alpha2 = numeric() : for(k in 1:N){ : set.seed(k) : . : . : . : 這裡是我懷疑出錯的部分,因為如果我不是生成隨機矩陣的話 : 就不會有這個問題 : iter = 20000 : repeat{ : ### step 1 fill up Z ### : g1 = function(x){ : ((l1+l0)*c1*(x^(c1-1)))/((l1+l0)*c1*(x^(c1-1))+l2*c2*(x^(c2-1))) : } : g2 = function(x){ : (l1*c1*(x^(c1-1)))/(l1*c1*(x^(c1-1))+(l2+l0)*c2*(x^(c2-1))) : } : Z1 = matrix(,ncol=2,nrow=length(t1)) : Z2 = matrix(,ncol=2,nrow=length(t2)) : for(i in 1:length(t1)){ : Z1[i,] = rmultinom(1,1,c(g1(t1[i]),(1-g1(t1[i])))) : } : for(i in 1:length(t2)){ : Z2[i,] = rmultinom(1,1,c(g2(t2[i]),(1-g2(t2[i])))) : } : } 使用 Z1[i,] = xxx 這種語法時,R 會複製記憶體,也就是你可能需要Z1兩倍的記憶體, 所以如果Z1很大的話,也是會出問題。 : 想請各位先進為我解答,感謝~ 你可以把你的需求寫的更清楚,這樣我還可以針對你的問題提供建議喔。 -- 歡迎到ptt R_Language版分享R 的相關知識 歡迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User 聚會報名 http://www.meetup.com/Taiwan-R/ 聚會影片 https://www.youtube.com/user/TWuseRGroup --



※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.224.201.62 ※ 編輯: Wush978 來自: 61.224.201.62 (06/22 21:39)
1F:推 lin15:不知道W大對R處理大型資料庫(記憶體吃不下)有沒有甚麼建議? 06/22 23:20
2F:→ clickhere:不要只用一台機器處理. 06/23 01:32
3F:推 lianhua:感謝大大解答,那我要怎麼確實清理記憶體呢? 06/23 07:34
4F:→ lianhua:我生成的矩陣只有在一次的小迴圈裡有用下一次就是新的了 06/23 07:35
5F:推 lianhua:就是一個大迴圈20000個矩陣只有在各自的迴圈裡會用到。 06/23 07:38
6F:→ celestialgod:你就把生成的矩陣rm掉 再加個gc()吧 06/23 07:47
7F:→ celestialgod:在大迴圈的最後 06/23 07:48
8F:→ Wush978:通常名字蓋掉會自己gc 耶,會不會問題不在這? :Q 06/23 10:45
9F:→ Wush978:你可以用object.size來看物件所佔用的記憶體 06/23 10:45
10F:→ celestialgod:好像是rm才不會清記憶體...原PO可能需要PO程式 06/23 14:03
11F:→ celestialgod:才知道要怎樣修改 06/23 14:03







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Soft_Job站內搜尋

TOP