作者doasgloria (青柳立夏)
看板Python
标题[问题] 有关读入文件档案时记忆体的问题
时间Mon Oct 16 22:33:30 2017
最近常用JUPYTER读取大量文件档
必须读取出1GB的TXT档案
再作处理後就会变得更大
目前光是暂时只开400多MB出来作业
从工作管理员可以看到 记忆体使用率都过90%逼近100%
然後电脑所有动作就变得超级顿+卡卡 >"<
我的记忆体是一条8G ,电脑是64位元win 10
因为对硬体相关一窍不通
想问一下
如果我把记忆体全插满比如4条8G甚至4条16G
会让我读取档案比较顺利 重点是电脑不要一直顿吗~@@
因为记忆体一买下去就是好几千块 想问问是否可以从这边获得改善 XD
非常感谢！！
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.25.43.35
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1508164418.A.0F6.html
※ 编辑: doasgloria (114.25.43.35), 10/16/2017 22:34:17
1F：推 R119: 应该可以 10/17 00:15
2F：推 goldflower: 处理到下一步的时候上一部的资料就能del掉 10/17 02:20
3F：推 TitanEric: 个人觉得1g以上已经算超大资料了 可能要搭配hadoop会比 10/17 11:26
4F：→ TitanEric: 较好处理 10/17 11:26
5F：→ kenduest: 主要要看你要做什麽处理，很多时候不需要资料一口气都 10/17 12:51
6F：→ kenduest: 全部放在记忆体内 10/17 12:51