作者a20913126 (TangTang)
看板Python
標題[問題] 想請問更換ip的問題
時間Thu Dec 8 17:33:47 2016
最近在練習用python寫爬蟲
但是在大量爬取時出現ProxyError
主要就是因為超過Max retries exceeded 該網頁
所以我想在爬取時定時更換ip
但公司電腦又不能使用safeIP
不知道有沒有其他方法能在爬取資料時renew IP
懇請各位大大指教
或是給我關鍵字讓我自己估狗學習
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.30.67.160
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1481189629.A.C7F.html
1F：→ uranusjr: 用公司電腦就低調點慢慢爬, 不然被抓還可以告你偷電 12/08 17:56
2F：推 shadowjohn: 先收集proxy、socket5、可以穿x-forward-proxy 12/08 18:08
3F：→ shadowjohn: 不然你換再多ip應該也... 12/08 18:09
4F：推 ajaxbaby: 也很想知道+1 ... 12/09 09:28
5F：→ ajaxbaby: 想知道有無方法能更換proxy, 免費付費都好 12/09 09:29
6F：→ ajaxbaby: 頻率數分鐘一次也可以 目前知道透過browser可以 12/09 09:29
7F：推 aweimeow: 改 X-forward-for Header 不知道有沒有用 XD 12/09 14:54
8F：推 Nt1: 架tor, 不過效能會下降 12/15 02:09