作者cal0712 (冷靜 沉著 堅持)
看板Python
標題[問題] 讀入較大的JSON檔
時間Wed May 27 09:31:48 2015
板上各為前輩好
小弟這邊有個JSON檔大概500MB左右 但一直無法順利讀入
import ijson
f = open('news_780796.json',mode='rb')
for url in ijson.items(f,'url'): #"url", "timestamp"
print(url)
會出現MemoryError
環境
Windows XP
Python 3.3
6GB RAM
想請問板上高手
1.如果完全不知道內部格式 想要只讀入前10筆資料怎麼個寫法呢?
2.如果想要全部讀入來處理的話 應該怎麼寫呢?
3.如果要處理這樣的檔案 系統的配置建議應該是怎麼樣呢?
感謝協助
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.21.108.1
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1432690311.A.B4A.html
1F：推 LiloHuang: 作業系統要用 64bit 版本，Python 也要是 64bit 版本 05/27 11:02
2F：→ sean50301: for url in ijson.items(f,'url')[:10]? 純猜測沒試過 05/27 11:24
3F：→ sean50301: … 05/27 11:24
5F：→ cal0712: 瞭解 感謝協助 06/01 01:09