作者sinclairJ (Jun)
看板R_Language
標題[問題] 電腦跑不動問題...
時間Fri Apr 24 17:17:35 2015
不好意思...有關電腦與軟體的問題想請教
我通常都用個人PC跑R程式(研究室也沒其他資源)
但因為最近要分析的資料量實在太大(原始資料約為500,000*200)
跑R也常跑到沒有回應 現在有兩個問題想請教
1.礙於某些套件是以"欄"為單位來進行分析(如兩欄間的相關係數檢定)
以我的資料檔為例 我感興趣的變數就是那500,000列
所以我必須先在R裡面轉置再輸出成csv檔 之後才能做後續分析
今天有試著輸出...但Excel卻開不起來
(錯誤訊息：只能容許1X,XXX行) 這是遇到的第一個問題
2.之後試著不如不要轉出 直接轉置完在R裡面跑分析就好
結果卻沒有回應...有試著把同學的記憶體加到自己電腦(變成16G)
但R卻遲遲還是沒有回應...
自己有天真的想了一下解決方法 可能打程式的時候
以逐行的方式作檢定 若顯著的話 就先暫存在某個物件裡
但礙於程式能力不好 怕會花太多時間
不然資料那麼大 若是還以之前的程式習慣(一次處理整個資料檔)來做分析
肯定是不行的吧... 所以想請問各位先進...
有"以不更換軟硬體"的情況下的解決方法嗎
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.184.161.128
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1429867058.A.14E.html
1F：推 andrew43: 1. libreoffice / openoffice 試試看04/24 17:24
2F：推 andrew43: 2. 最佳化的程式碼要有實際案例才說得下去04/24 17:26
3F：→ andrew43: 另外，你的資料到底是200列還是200欄？04/24 17:27
※ 編輯: sinclairJ (111.184.161.128), 04/24/2015 17:44:50
4F：→ sinclairJ: 不好意思，原始資料是200行沒錯04/24 17:45
5F：→ sinclairJ: 200欄04/24 17:46
6F：→ sinclairJ: 我晚點試試看你提的excel解決辦法，謝謝04/24 17:47
※ 編輯: sinclairJ (111.184.161.128), 04/24/2015 17:48:50
7F：推 Wush978: 先試試能不能抽樣跑 04/24 18:29
8F：→ celestialgod: 用notepad++或是sublime text之類的開csv檔 04/24 20:31
9F：→ celestialgod: sublime text有套件支援csv瀏覽很方便 04/24 20:31
10F：→ celestialgod: 500,000列看你是怎麼寫，670000x150在16G還可以做 04/24 20:34
11F：→ celestialgod: 要不就要考慮用disk當作記憶體緩衝 04/24 20:34
12F：→ celestialgod: 我沒注意到你是要用excel分析，抱歉 04/24 20:38
13F：→ sinclairJ: 哈哈怎麼會抱歉，我要說感謝都來不及了，目前程式碼沒 04/24 22:21
14F：→ sinclairJ: 問題，電腦還在試，哈 04/24 22:21
15F：推 Edster: 這要看你code怎麼寫. 不然你用亂數給我們做範例也好. 04/25 05:32
16F：→ Edster: 至少我看起來不是硬體的問題. 04/25 05:34
17F：→ celestialgod: 我不是說程式碼有問題，而是寫法，有些不必要的複製 04/25 18:56
18F：→ celestialgod: 會造成記憶體的浪費，才會讓你記憶體不夠用，最簡 04/25 18:56
19F：→ celestialgod: 單的例子，names的assign複製幾次，轉置個幾次次， 04/25 18:56
20F：→ celestialgod: 增加column複製幾次，可能你記憶體就在這途中浪費 04/25 18:56
21F：→ celestialgod: 掉，又沒有remove object下... 04/25 18:56
22F：→ celestialgod: 我覺得R應該不會主動做記憶體 04/25 18:58
23F：→ celestialgod: 記憶體管理 04/25 18:58
24F：→ celestialgod: 補充一點，所以如果需要幫忙，可以把程式PO上來 04/26 00:12
25F：→ celestialgod: 資料可以用亂數，只是要確認裡面沒用名稱CALL 04/26 00:13