作者yowantl (加油)
看板Python
标题[问题] np.zeros memory error
时间Thu Apr 19 12:04:24 2018
如标题 以下是我的code
出现下面错误
ML_CROSS
Traceback (most recent call last):
File "D:\Curry\DCIM\lab1\FINAL2\ML.py", line 27, in <module>
designM=np.zeros((Train,M))
MemoryError
>>>
请问大大 该如何解
谢谢
***************************
import csv
import math
import numpy as np
print " ML_CROSS "
Train=35000
Verif=5000
M=6400
D=80
s1=100
s2=100
pos=13.5
dim=0
lam=0
dim_cross=1
coordinate=[]
target=[]
#init_a = np.zeros((10000*10000),4096),np.dtype='float16'))
target_v=np.zeros(Verif)
target_t=np.zeros(Train)
designM=np.zeros((Train,M))
*****************************************
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.163.0.31
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1524110667.A.950.html
1F：→ gmccntzx1: 记忆体不足. designM有35000*6400*8(byte)=1.792e9 04/19 12:42
2F：→ gmccntzx1: (byte) 约1.67GB... 04/19 12:43
3F：→ gmccntzx1: (np.zeros的dtype预设是np.float64) 04/19 12:44
4F：→ yowantl: 那请问 有甚麽解法吗 04/19 13:48
5F：→ yowantl: 而且我这边记忆体是32GB 04/19 14:14
6F：→ gmccntzx1: 先试着改用np.float32或np.float16看看 04/19 14:25
7F：→ gmccntzx1: 因为你的code看起来就是要这麽大的阵列 04/19 14:26
8F：推 gmccntzx1: 另外可以试试用memory_profiler确认,看执行到designM这 04/19 14:29
9F：→ gmccntzx1: 行前,已经用掉多少记忆体了 04/19 14:29
11F：→ gmccntzx1: 再不然,可能要改存成sparse matrix的方式去计算 04/19 14:31