作者clansoda (小笨)
看板R_Language
標題[問題] 記憶體計算
時間Fri Dec 16 14:45:15 2016
Hi 各位好 我目前想要擴增一個data.frame做machine learning
我想要弄進兩千個feature因此想要知道到底會吃多少記憶體
我知道object.size可以知道當前的物件吃多少記憶體
假如這個物件還沒弄出來 只在我腦裡面跑
有辦法透過row的數量跟col數量來推估記憶體使用量嗎
我怕寫一寫後來沒記憶體可以跑很尷尬
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.175.247.48
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1481870720.A.F18.html
1F：推 HumuHumu: Memory required=no. of column * no. of row * 8 bytes 12/16 15:43
2F：→ HumuHumu: /numeric 12/16 15:44
3F：推 andrew43: 可以，但也記得估運算過程需要的量。 12/16 15:58
4F：→ clansoda: 我有google到這個 那英文跟中文怎麼計算 12/16 15:59
5F：→ clansoda: 我只是用一個直式的data spread as橫式的data 12/16 16:00
6F：→ clansoda: 這樣過程會多耗記憶體嗎 會用data.table 應該不會copy吧 12/16 16:00
7F：→ clickhere: 有個package, memuse, 可以預估. 12/16 22:46
8F：→ Wush978: 你要看物件型態 12/17 15:17
9F：→ Wush978: integer 4 byte, numeric 8 byte, logical 應該是 4? 12/17 15:18
10F：→ Wush978: factor 主要是 4byte + levels 的量 12/17 15:18
11F：→ Wush978: character 的話，一個字符1 byte, 你要用nchar估計每個 12/17 15:18
12F：→ Wush978: element的平均長度後做計算 12/17 15:18
13F：→ Wush978: 最後估計你會用到多少個integer, numeric, logical, ... 12/17 15:19
14F：→ Wush978: 這樣就可以得到大致上的記憶體用量 12/17 15:19