作者HenryLiKing (亨利王子)
看板Python
标题[问题] 大型矩阵相乘会卡很久
时间Thu Jul 19 00:55:49 2018
大家好
我最近练习做 term-document-matrix
用到的 library是 : pandas sklearn
我的矩阵说起来并不会很大
大概 (55534, 3117)
数字再 0~503 之间(min,max)
不过我在做 相乘的时候 jupyter 都会卡很久就当掉了!!!
这行会卡很久
不知道问题会是出在哪里呢?
np.matmul(A,B)
底下是我的code
这个问题卡好久了QQ
# ---------------- Code -----------------
# import
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
# 做 term-document-matrix
vec = CountVectorizer()
X = vec.fit_transform(contents_big_array)
df = pd.DataFrame(X.toarray(), columns=vec.get_feature_names())
# 做矩阵
A = df.values.T
B = df.values
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.45.101.55
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1531932953.A.86A.html
1F：→ bibo9901: 55534x55534的float可能会超出记忆体了 07/19 00:58
2F：推 TuCH: 你记忆体多少....看一下记忆体是不是爆炸了 07/19 01:15
55534*55534*64bit 好像差不多 22G了耶OAO
可以问一下这种大型矩阵大概要怎麽算吗?
还是可以分开运算在结合起来?
※ 编辑: HenryLiKing (140.138.25.124), 07/19/2018 09:55:57
3F：→ bibo9901: term-document frequency 一定是 sparse matrix啊 07/19 10:04
4F：→ bibo9901: 直接拿X来乘不就好了吗? 干嘛转array再转dataframe? 07/19 10:06