作者cal0712 (冷静 沉着 坚持)
看板Python
标题[问题] 读入较大的JSON档
时间Wed May 27 09:31:48 2015
板上各为前辈好
小弟这边有个JSON档大概500MB左右 但一直无法顺利读入
import ijson
f = open('news_780796.json',mode='rb')
for url in ijson.items(f,'url'): #"url", "timestamp"
print(url)
会出现MemoryError
环境
Windows XP
Python 3.3
6GB RAM
想请问板上高手
1.如果完全不知道内部格式 想要只读入前10笔资料怎麽个写法呢?
2.如果想要全部读入来处理的话 应该怎麽写呢?
3.如果要处理这样的档案 系统的配置建议应该是怎麽样呢?
感谢协助
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 211.21.108.1
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1432690311.A.B4A.html
1F：推 LiloHuang: 作业系统要用 64bit 版本，Python 也要是 64bit 版本 05/27 11:02
2F：→ sean50301: for url in ijson.items(f,'url')[:10]? 纯猜测没试过 05/27 11:24
3F：→ sean50301: … 05/27 11:24
5F：→ cal0712: 了解 感谢协助 06/01 01:09