作者famayo (砝码)
看板Soft_Job
标题[请益] 记忆体问题该如何突破?
时间Wed Sep 30 07:57:35 2015
因为在计算上会需要用到很大的记忆体
但是发现自己电脑的8G ram 常常没跑满
大概都跑到5G左右就会出现 memory error
现在是用python 3.4 32位元
如果改成64位元版本似乎能够用上更多记忆体?
但是查了一下发现有些python的library只有32位元版本
请问各位前辈
如果在这种情况下
我虽安装了python 64位元版
但是我的library却参杂32位元版
我能用的记忆体天花板是不是就是32位元版的 而不是64位元
感谢各位
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.127.173.173
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1443571057.A.336.html
※ 编辑: famayo (59.127.173.173), 09/30/2015 08:01:14
1F：推 david81915: 有钱好任性 09/30 09:21
2F：推 Masakiad: 笑了... 09/30 09:57
3F：→ qrtt1: 你系统不跑 python 时要吃多少啊@@? 要留点活路给别人啊... 09/30 10:08
4F：→ famayo: 原本系统吃4G 跑python时整个电脑的RAM会吃到5G 09/30 10:19
5F：→ Deltaguita: 是不是要考虑调整你的程式码,怎麽会用那麽多 09/30 10:44
6F：→ Deltaguita: 你载入很多影响 09/30 10:45
7F：→ famayo: 主要是要把1gb的数据全部载入numpy array跟pandas array 09/30 10:49
8F：→ famayo: 然後作一些计算转换 常常就卡在阵列变换或读取的地方 09/30 10:49
9F：推 phoenixrace: 差16g ram 09/30 11:12
10F：→ qrtt1: 所以看起来你的 limit 是 2G 啊 09/30 12:12
11F：→ azureblaze: 还有fragmentation的问题 09/30 12:27
12F：→ carlcarl: 一定要一次读1GB出来吗? 09/30 13:24
13F：→ realmeat: 为啥不考虑平行处理 09/30 14:12
14F：→ robler: 平行处理和记忆体限制的关联在哪 09/30 15:09
15F：推 tomtang0406: 32bit程式单一程序记忆体使用的上限就是4GB, 但因为 09/30 15:26
16F：→ tomtang0406: 这4GB还要切割2GB kernel mode 给OS使用，你 user mo 09/30 15:26
17F：→ tomtang0406: de 的记忆体只剩下2GB，而且你用array在操作是privat 09/30 15:26
18F：→ tomtang0406: e bytes，无法被swap，很快就遇到天险了... 09/30 15:26
19F：→ realmeat: 说错, 平行处理(x)应该是分散运算才对 09/30 17:15
20F：→ famayo: 关於平行的技术都还没点QQ 想说如果可以用64bit先解最好 09/30 17:37
21F：→ famayo: 所以如果我中间有一个library是32bit 即使其他事64bit 09/30 17:38
22F：→ famayo: 这样也等於只能用到2G的极限吗? 09/30 17:39
23F：→ famayo: 如果不平行 一定要一次读 因为这是off-line learning 09/30 17:39
24F：→ tomtang0406: 是的，一个32bit的老鼠屎就会坏了整锅粥 09/30 17:46
25F：→ famayo: 感谢大大解惑啊 我来开始装64bit 09/30 17:47
26F：→ tomtang0406: 想想64bit的程式要传递一个参数指标到32bit lib 内 09/30 17:51
27F：→ tomtang0406: 的function, 但这个lib吃不下来怎麽办？当然只能降 09/30 17:51
28F：→ tomtang0406: 等用两边都能解读的记忆体指标 09/30 17:51
29F：推 ug945: 8G不够换16G再不够换32G再不够分散式运算 09/30 18:06
30F：→ qrtt1: 适当的 sampling 来减少资量啊qq 09/30 21:01
31F：推 berton1679: 运算庞大成这样还用python你新手? 10/01 21:10
32F：→ famayo: 换64bit後已可执行 10/02 03:17