作者a20913126 (TangTang)
看板Python
标题[问题] 想请问更换ip的问题
时间Thu Dec 8 17:33:47 2016
最近在练习用python写爬虫
但是在大量爬取时出现ProxyError
主要就是因为超过Max retries exceeded 该网页
所以我想在爬取时定时更换ip
但公司电脑又不能使用safeIP
不知道有没有其他方法能在爬取资料时renew IP
恳请各位大大指教
或是给我关键字让我自己估狗学习
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 110.30.67.160
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1481189629.A.C7F.html
1F：→ uranusjr: 用公司电脑就低调点慢慢爬, 不然被抓还可以告你偷电 12/08 17:56
2F：推 shadowjohn: 先收集proxy、socket5、可以穿x-forward-proxy 12/08 18:08
3F：→ shadowjohn: 不然你换再多ip应该也... 12/08 18:09
4F：推 ajaxbaby: 也很想知道+1 ... 12/09 09:28
5F：→ ajaxbaby: 想知道有无方法能更换proxy, 免费付费都好 12/09 09:29
6F：→ ajaxbaby: 频率数分钟一次也可以 目前知道透过browser可以 12/09 09:29
7F：推 aweimeow: 改 X-forward-for Header 不知道有没有用 XD 12/09 14:54
8F：推 Nt1: 架tor, 不过效能会下降 12/15 02:09