作者philipwen (匈牙利=Hungary)
看板Python
標題[閒聊] 請問有人用過免費Proxy寫爬蟲嗎?
時間Fri Jul 19 14:21:29 2019
http://tinyw.in/lOA8
附上網址
最近再用BeautifulSoup寫爬蟲，但老問題就是遇到防火牆規則
相同IP重複挖取被擋下來了 就想說用跳板來抓
看到這一篇是抓可以用的免費Proxy來抓
Code分成兩大部分 第一部分就是一個小爬蟲去爬免費Proxy
不知道有沒有人玩過這個呢? 分享給大家
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.230.119.225 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1563517298.A.DAA.html
※ 編輯: philipwen (125.230.119.225 臺灣), 07/19/2019 14:27:31
1F：→ philipwen: 問一下 有沒有人死在proxies=Next(proxy_pool)呢 07/19 14:37
2F：→ shadowjohn: 先把proxy4free列表裡的刷一次看哪些能用~ 07/19 21:43
3F：→ s860134: 就一個 for 迴圈和一個 get 去檢查能不能用... 07/20 00:24
4F：→ ptl1129: proxybroker 07/21 10:32