作者aaa7513231 (浑沌与秩序)
看板Python
标题[问题] 爬虫 非同步的post请求
时间Wed Apr 13 21:03:27 2016
大家好
最近在利用免费的云端主机去做网页爬虫
Openshite
遇到的问题就是他主机架设在美洲
所以每一个post的反应时间还蛮久的
这样跑回圈下来的执行时间很长
想知道是不是有机会可以做到非同步的大量post要求
在回传事件中解决到回应
这样应该就可以解决主机在美国的问题了
谢谢大家
补充:
我是版本是2.7
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.141.5.141
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1460552609.A.20C.html
1F：→ uranusjr: 选择很多, Python 3.4 以上可以用 aiohttp, 其他版本也 04/13 21:43
2F：→ uranusjr: 可以用 Tornado 或 Twisted 等等 04/13 21:43
※ 编辑: aaa7513231 (114.42.51.132), 04/13/2016 22:15:19
3F：→ aaa7513231: 因为我是使用cron去跑脚本，上面提供的好像是Web框架 04/13 22:16
4F：→ aaa7513231: U大，我这样应该没办法套用吧@@? 04/13 22:16
5F：→ ccwang002: 可以套用啊，都可以非同步等待对方 server 回应 04/13 22:19
6F：→ ccwang002: 例如：Twisted Web Client / Aiohttp Client 04/13 22:21
7F：→ aaa7513231: 刚刚看过范例，应该是有搞头，谢谢大家!!! 04/13 22:31
8F：→ kenduest: python 2 简单方式一般可以用 gevent 来处理 04/14 00:57