作者jimmy15923 (jimmy)
看板Python
标题[问题] 如何用multiprocess抓API资料
时间Mon Jan 9 11:32:12 2017
各位前辈大家好
小弟是python 新手
目前在抓API资料遇到速度的问题
API是根据不同id吐资料出来
code如下
url = "
http://123456789/"
id = "jimmy"
for id in ID:
response = requests.get(url+id)
info = response.json(encoding = "utf-8")
##save info
我的ID是个50万笔的list，如果仅用一个跑的话要跑好几天
最简单的做法就是把ID切成好几分，在开好几个script同时跑
但是想请教各位高手们如何应用multiprocess 抓取API的资料?
让抓取的速度在快一点
先谢谢各位了!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.109.21.100
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1483932740.A.DAA.html
1F：推 GoalBased: 一个不够就开两个? 01/09 12:06
2F：→ penguin7272: 感觉你也会需要 async 01/09 12:26
3F：→ jimmy15923: 请问async要怎麽应用在我这个例子比较识当呢? 01/09 12:39