作者yf9000555 (jasonhome)
看板Python
标题[问题] request 如何实现多重代理
时间Wed May 4 02:50:17 2016
大家好
我有个问题想请教一下
就是关於python Request的proxy单层代理已经实现了
现在我想实现多重代理去匿踪
这是我的code
请问我这样有算实现吗??
Proxy List是来自於
http://goo.gl/xhX32M
我是以这个查询IP的网站做测试
http://dir.twseo.org/ip-check.php
因为如果使用单层代理的话就会显示你的来源代理位置
下列是单层代理的程式码
https://goo.gl/80WK6s
他会跟我说我的来源IP位置
然後我再试着使用下列的程式码
https://goo.gl/0bdm8k
它就不会显示我的来源IP位置了
这样是否达到多重IP的效果呢??
.
然後当我需要再实现第三层的proxy代理时
就出现
ConnectionError: ('Connection aborted.', BadStatusLine("''",)
没有使用Tor网路的关系是因为我要爬取的网站会锁定境外IP
请问是否有比使用此种方式去多重代理更好的方式呢??
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.227.164.60
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1462301421.A.4A7.html
1F：→ kenduest: 1. 你的程式码内，没有用到 requests.Session() 产生的 05/04 10:49
2F：→ kenduest: res 项目。一般要用到 http keep-alive 的话，通常 05/04 10:50
3F：→ kenduest: 就是 res=requests.Session() 之後用 res.get(...) 05/04 10:50
4F：→ kenduest: 2. 你的程式码看不出来所谓多层 proxy 代理的功能 05/04 10:50
5F：→ kenduest: 只是分别用不同的 proxy server 让 requests 去连结 05/04 10:50
6F：→ kenduest: 3. Connection aborted 看起来应该是你用的 proxyserver 05/04 10:57
7F：→ kenduest: 本身有问题所以存取失败无法连线成功 05/04 10:57
8F：→ kenduest: 4. 对方是否可以看到你的真正连线来源，基本上是取决 05/04 10:58
9F：→ kenduest: 在 proxy server 本身是否会把用户端来源的 ip 放在 05/04 10:58
10F：→ kenduest: X-Forwarded-For 的 http header 内 05/04 10:59
回覆kenduest:
proxies={
"http":"
http://203.66.159.45:3128"
}
proxies2={
"http":"
http://122.147.24.103:8080"
}
r=requests.Session()
res=r.get("
http://dir.twseo.org/ip-check.php",proxies=proxies)
res2=r.get("
http://dir.twseo.org/ip-check.php",proxies=proxies2)
所以依照你的建议修改了 Session的设定
主要思路是先对网站进行第一次跳板
然後再使用同样的session去get
就可以第二层跳板吗??
※ 编辑: yf9000555 (61.230.178.141), 05/04/2016 13:43:21
11F：→ aweimeow: 这样看起来还是一样分成两次不同代理去送request欸 05/04 17:24
12F：→ s860134: 你叫 A 座 1 号机去美国，叫 B 搭 2 号机去美国 05/04 23:40
13F：→ s860134: 这样 A 和 B 有任何一个人搭到 2 台飞机才到美国? 05/04 23:41
14F：→ kenduest: 没办法这样子达成所谓两层 proxy 代理这种功能 05/04 23:52
15F：→ kenduest: 只有单层的 proxy 功能使用 05/04 23:53
16F：推 grapherd: 我记得 tor 不是可以指定 exit node 国籍？ 05/07 00:13
谢谢 grapherd
我後来在
Tor Browser\Browser\TorBrowser\Data\Tor\
这个资料夹位置找到 torrc 这个档案
然後用记事本开启後
在最後面加上
StrictExitNodes 1
ExitNodes {TW}
成功跳板回台湾
谢谢
参考网址 :
使用tor指定出口国家的IP (简体中文)
http://goo.gl/hDVc7Z
维基百科国家代码表
https://goo.gl/HmTGBv
※ 编辑: yf9000555 (61.230.166.30), 05/09/2016 13:57:49