因為要打得太多了我想說還是再問一篇好了 我試過http://goo.gl/soE8XA這篇的方法 可是出現錯誤訊息如下 Loading required package: tcltk Error in .local(conn, name, value, ...) : RS_sqlite_import: data1.dat line 2 expected 2 columns of data but found 3 然後我google了這個錯誤 https://groups.google.com/forum/#!topic/sqldf/1VWgp9WJLr4 這篇有講到14年11月已經修改這個問題了 所以我不知道這樣是發生什麼事了 我還蠻想學會這招的 然後我還想問有關bigmemory跟ff跑起來的速度會比較慢嗎 謝謝 ※ 引述《jklkj (誠實可靠小郎君)》之銘言： : 標題: [問題] 記憶體不足 : 時間: Wed Jun 1 15:53:04 2016 : : : [問題類型]: : 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來) : 效能諮詢(我想讓R 跑更快) : : [軟體熟悉度]: : 入門(寫過其他程式，只是對語法不熟悉) : : [問題敘述]: : 目前我要把大概幾千萬筆的資料(目前只跑到2000多萬筆)放進R去， : 應該會有兩三個dataframe，每個dataframe都有數千萬筆 : 打算把R當作資料庫，不管是join或是一些資料的整理 : 我把資料一直rbind下去，超過兩千多萬筆之後就會出現記憶體不足的問題 : 想請問這樣的問題除了直接加記憶體以外(因為是公司的電腦) : 有別的方法嗎？ : [程式範例]: : 程式範例就是很簡單的 : sale <- rbind(sale1, sale) : 錯誤訊息如下 : error: cannot allocate vector of size 256.0 mb : 我有找到一些解決的方法是加ram(其實我也很想加到32G)、用64bit(感覺我已經在用了) : 想請問一下有別的解決方法嗎？ : : [環境敘述]: : R version 3.3.0 (2016-05-03) -- "Supposedly Educational" : Copyright (C) 2016 The R Foundation for Statistical Computing : Platform: x86_64-w64-mingw32/x64 (64-bit) : : [關鍵字]: : : 記憶體 不足 : : -- :

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.23.167.43 : ※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1464767586.A.407.html : → celestialgod: 那麼大的資料量還是直接用資料庫省事 06/01 16:18 : → cywhale: 記得看過用sqldf把檔案當暫時資料庫可以避掉記憶體不足 06/01 16:35 : → jklkj: http://bryannotes.blogspot.tw/2014/07/r-sqldf-vs-lappy. 06/01 17:13 : → jklkj: html 這個網站有看到作者用樓上說的sqldf，而且row數量也相 06/01 17:15 : → jklkj: 當多(應該夠我用一陣子了)，想問一下這SQLDF是要怎麼當暫時 06/01 17:16 : → jklkj: 資料庫，感謝 06/01 17:16 : 推 cywhale: 我剛google一下 這篇 http://goo.gl/soE8XA 06/01 17:23 : → cywhale: 我自己沒用過，我也是跟一樓C大說的，直接用資料庫.. 06/01 17:24 : → cywhale: 如果資料都是同一種(如數值)或可以轉換，也可以用 06/01 17:25 : → cywhale: bigmemory in R.. 06/01 17:26 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.23.167.43 ※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1465007754.A.E37.html