作者vi000246 (Vi)
看板Python
标题[问题] 大家是怎麽在爬虫设置代理的
时间Thu Sep 14 15:52:49 2017
在网路找了几个project
发现大家对代理设置的方式都不太一样
有人是用list放几个proxy位址
有人是写个爬虫去爬免费代理的网站
把proxy位址储放到本机资料库
再从资料库捞一个代理出来用
我之前的做法是去某个代理网站
随机捞一个连线速度比较快 比较多人用的代理
在想要不要自已写一个抓代理位址的爬虫
不太想动用到资料库 最好能直接找一个能用的proxy
想问有现成的lib能用吗
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.218.40.109
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1505375572.A.38A.html
1F:推 HahaUreDead: 可以用Tor 09/18 17:28