作者doasgloria (青柳立夏)
看板Python
標題[問題] 有關讀入文件檔案時記憶體的問題
時間Mon Oct 16 22:33:30 2017
最近常用JUPYTER讀取大量文件檔
必須讀取出1GB的TXT檔案
再作處理後就會變得更大
目前光是暫時只開400多MB出來作業
從工作管理員可以看到 記憶體使用率都過90%逼近100%
然後電腦所有動作就變得超級頓+卡卡 >"<
我的記憶體是一條8G ,電腦是64位元win 10
因為對硬體相關一竅不通
想問一下
如果我把記憶體全插滿比如4條8G甚至4條16G
會讓我讀取檔案比較順利 重點是電腦不要一直頓嗎~@@
因為記憶體一買下去就是好幾千塊 想問問是否可以從這邊獲得改善 XD
非常感謝！！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.25.43.35
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1508164418.A.0F6.html
※ 編輯: doasgloria (114.25.43.35), 10/16/2017 22:34:17
1F：推 R119: 應該可以 10/17 00:15
2F：推 goldflower: 處理到下一步的時候上一部的資料就能del掉 10/17 02:20
3F：推 TitanEric: 個人覺得1g以上已經算超大資料了 可能要搭配hadoop會比 10/17 11:26
4F：→ TitanEric: 較好處理 10/17 11:26
5F：→ kenduest: 主要要看你要做什麼處理，很多時候不需要資料一口氣都 10/17 12:51
6F：→ kenduest: 全部放在記憶體內 10/17 12:51