作者asd3456722 (sofia)
看板Python
標題[問題]
時間Fri Jul 15 15:47:36 2016
由於小弟在處理一份相當大的data
但是在用pandas讀取時就出現memory error
想請問高手怎麼解決
感恩～～～
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.80.62.90
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1468568858.A.B4D.html
※ 編輯: asd3456722 (111.80.62.90), 07/15/2016 15:48:14
1F：→ kenduest: 資料多大？系統記憶體多少？虛擬記憶體有多少？ 07/15 15:54
2F：→ kenduest: 可不可以批次分量處理？ 07/15 15:54
3F：→ asd3456722: data 1.1G csv.file 07/15 16:11
5F：→ gozule: 試著用iterator分批處理 07/15 17:38
6F：→ kevinkung: 應該是你處理的方式有 我試過用pandas處理過大量的資 07/17 00:21
7F：→ kevinkung: 料 沒發生memory error 07/17 00:21
8F：→ kevinkung: 處理資料的方式有問題 07/17 00:22