作者yf9000555 (jasonhome)
看板Python
標題[問題] request 如何實現多重代理
時間Wed May 4 02:50:17 2016
大家好
我有個問題想請教一下
就是關於python Request的proxy單層代理已經實現了
現在我想實現多重代理去匿蹤
這是我的code
請問我這樣有算實現嗎??
Proxy List是來自於
http://goo.gl/xhX32M
我是以這個查詢IP的網站做測試
http://dir.twseo.org/ip-check.php
因為如果使用單層代理的話就會顯示你的來源代理位置
下列是單層代理的程式碼
https://goo.gl/80WK6s
他會跟我說我的來源IP位置
然後我再試著使用下列的程式碼
https://goo.gl/0bdm8k
它就不會顯示我的來源IP位置了
這樣是否達到多重IP的效果呢??
.
然後當我需要再實現第三層的proxy代理時
就出現
ConnectionError: ('Connection aborted.', BadStatusLine("''",)
沒有使用Tor網路的關係是因為我要爬取的網站會鎖定境外IP
請問是否有比使用此種方式去多重代理更好的方式呢??
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.227.164.60
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1462301421.A.4A7.html
1F：→ kenduest: 1. 你的程式碼內，沒有用到 requests.Session() 產生的 05/04 10:49
2F：→ kenduest: res 項目。一般要用到 http keep-alive 的話，通常 05/04 10:50
3F：→ kenduest: 就是 res=requests.Session() 之後用 res.get(...) 05/04 10:50
4F：→ kenduest: 2. 你的程式碼看不出來所謂多層 proxy 代理的功能 05/04 10:50
5F：→ kenduest: 只是分別用不同的 proxy server 讓 requests 去連結 05/04 10:50
6F：→ kenduest: 3. Connection aborted 看起來應該是你用的 proxyserver 05/04 10:57
7F：→ kenduest: 本身有問題所以存取失敗無法連線成功 05/04 10:57
8F：→ kenduest: 4. 對方是否可以看到你的真正連線來源，基本上是取決 05/04 10:58
9F：→ kenduest: 在 proxy server 本身是否會把用戶端來源的 ip 放在 05/04 10:58
10F：→ kenduest: X-Forwarded-For 的 http header 內 05/04 10:59
回覆kenduest:
proxies={
"http":"
http://203.66.159.45:3128"
}
proxies2={
"http":"
http://122.147.24.103:8080"
}
r=requests.Session()
res=r.get("
http://dir.twseo.org/ip-check.php",proxies=proxies)
res2=r.get("
http://dir.twseo.org/ip-check.php",proxies=proxies2)
所以依照你的建議修改了 Session的設定
主要思路是先對網站進行第一次跳板
然後再使用同樣的session去get
就可以第二層跳板嗎??
※ 編輯: yf9000555 (61.230.178.141), 05/04/2016 13:43:21
11F：→ aweimeow: 這樣看起來還是一樣分成兩次不同代理去送request欸 05/04 17:24
12F：→ s860134: 你叫 A 座 1 號機去美國，叫 B 搭 2 號機去美國 05/04 23:40
13F：→ s860134: 這樣 A 和 B 有任何一個人搭到 2 台飛機才到美國? 05/04 23:41
14F：→ kenduest: 沒辦法這樣子達成所謂兩層 proxy 代理這種功能 05/04 23:52
15F：→ kenduest: 只有單層的 proxy 功能使用 05/04 23:53
16F：推 grapherd: 我記得 tor 不是可以指定 exit node 國籍？ 05/07 00:13
謝謝 grapherd
我後來在
Tor Browser\Browser\TorBrowser\Data\Tor\
這個資料夾位置找到 torrc 這個檔案
然後用記事本開啟後
在最後面加上
StrictExitNodes 1
ExitNodes {TW}
成功跳板回台灣
謝謝
參考網址 :
使用tor指定出口国家的IP (簡體中文)
http://goo.gl/hDVc7Z
維基百科國家代碼表
https://goo.gl/HmTGBv
※ 編輯: yf9000555 (61.230.166.30), 05/09/2016 13:57:49