作者aaa7513231 (渾沌與秩序)
看板Python
標題[問題] 爬蟲 非同步的post請求
時間Wed Apr 13 21:03:27 2016
大家好
最近在利用免費的雲端主機去做網頁爬蟲
Openshite
遇到的問題就是他主機架設在美洲
所以每一個post的反應時間還蠻久的
這樣跑回圈下來的執行時間很長
想知道是不是有機會可以做到非同步的大量post要求
在回傳事件中解決到回應
這樣應該就可以解決主機在美國的問題了
謝謝大家
補充:
我是版本是2.7
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.141.5.141
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1460552609.A.20C.html
1F：→ uranusjr: 選擇很多, Python 3.4 以上可以用 aiohttp, 其他版本也 04/13 21:43
2F：→ uranusjr: 可以用 Tornado 或 Twisted 等等 04/13 21:43
※ 編輯: aaa7513231 (114.42.51.132), 04/13/2016 22:15:19
3F：→ aaa7513231: 因為我是使用cron去跑腳本，上面提供的好像是Web框架 04/13 22:16
4F：→ aaa7513231: U大，我這樣應該沒辦法套用吧@@? 04/13 22:16
5F：→ ccwang002: 可以套用啊，都可以非同步等待對方 server 回應 04/13 22:19
6F：→ ccwang002: 例如：Twisted Web Client / Aiohttp Client 04/13 22:21
7F：→ aaa7513231: 剛剛看過範例，應該是有搞頭，謝謝大家!!! 04/13 22:31
8F：→ kenduest: python 2 簡單方式一般可以用 gevent 來處理 04/14 00:57