作者sinclairJ (Jun)
看板R_Language
标题[问题] 电脑跑不动问题...
时间Fri Apr 24 17:17:35 2015
不好意思...有关电脑与软体的问题想请教
我通常都用个人PC跑R程式(研究室也没其他资源)
但因为最近要分析的资料量实在太大(原始资料约为500,000*200)
跑R也常跑到没有回应 现在有两个问题想请教
1.碍於某些套件是以"栏"为单位来进行分析(如两栏间的相关系数检定)
以我的资料档为例 我感兴趣的变数就是那500,000列
所以我必须先在R里面转置再输出成csv档 之後才能做後续分析
今天有试着输出...但Excel却开不起来
(错误讯息：只能容许1X,XXX行) 这是遇到的第一个问题
2.之後试着不如不要转出 直接转置完在R里面跑分析就好
结果却没有回应...有试着把同学的记忆体加到自己电脑(变成16G)
但R却迟迟还是没有回应...
自己有天真的想了一下解决方法 可能打程式的时候
以逐行的方式作检定 若显着的话 就先暂存在某个物件里
但碍於程式能力不好 怕会花太多时间
不然资料那麽大 若是还以之前的程式习惯(一次处理整个资料档)来做分析
肯定是不行的吧... 所以想请问各位先进...
有"以不更换软硬体"的情况下的解决方法吗
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.184.161.128
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1429867058.A.14E.html
1F：推 andrew43: 1. libreoffice / openoffice 试试看04/24 17:24
2F：推 andrew43: 2. 最佳化的程式码要有实际案例才说得下去04/24 17:26
3F：→ andrew43: 另外，你的资料到底是200列还是200栏？04/24 17:27
※ 编辑: sinclairJ (111.184.161.128), 04/24/2015 17:44:50
4F：→ sinclairJ: 不好意思，原始资料是200行没错04/24 17:45
5F：→ sinclairJ: 200栏04/24 17:46
6F：→ sinclairJ: 我晚点试试看你提的excel解决办法，谢谢04/24 17:47
※ 编辑: sinclairJ (111.184.161.128), 04/24/2015 17:48:50
7F：推 Wush978: 先试试能不能抽样跑 04/24 18:29
8F：→ celestialgod: 用notepad++或是sublime text之类的开csv档 04/24 20:31
9F：→ celestialgod: sublime text有套件支援csv浏览很方便 04/24 20:31
10F：→ celestialgod: 500,000列看你是怎麽写，670000x150在16G还可以做 04/24 20:34
11F：→ celestialgod: 要不就要考虑用disk当作记忆体缓冲 04/24 20:34
12F：→ celestialgod: 我没注意到你是要用excel分析，抱歉 04/24 20:38
13F：→ sinclairJ: 哈哈怎麽会抱歉，我要说感谢都来不及了，目前程式码没 04/24 22:21
14F：→ sinclairJ: 问题，电脑还在试，哈 04/24 22:21
15F：推 Edster: 这要看你code怎麽写. 不然你用乱数给我们做范例也好. 04/25 05:32
16F：→ Edster: 至少我看起来不是硬体的问题. 04/25 05:34
17F：→ celestialgod: 我不是说程式码有问题，而是写法，有些不必要的复制 04/25 18:56
18F：→ celestialgod: 会造成记忆体的浪费，才会让你记忆体不够用，最简 04/25 18:56
19F：→ celestialgod: 单的例子，names的assign复制几次，转置个几次次， 04/25 18:56
20F：→ celestialgod: 增加column复制几次，可能你记忆体就在这途中浪费 04/25 18:56
21F：→ celestialgod: 掉，又没有remove object下... 04/25 18:56
22F：→ celestialgod: 我觉得R应该不会主动做记忆体 04/25 18:58
23F：→ celestialgod: 记忆体管理 04/25 18:58
24F：→ celestialgod: 补充一点，所以如果需要帮忙，可以把程式PO上来 04/26 00:12
25F：→ celestialgod: 资料可以用乱数，只是要确认里面没用名称CALL 04/26 00:13