作者kiloxx (名器)
看板Python
標題[問題] 如何被網頁阻擋後，過幾秒重連線?
時間Fri Apr 8 23:00:17 2016
大家好!! 新手卡關再一問!
我想用urllib去urlopen一個網站
可是我有大量的資料要連續讀取
for example:
for each_stock in stocks:
req=urllib.urlopen("
http://www.example/each_stock")
table = req.find('table',{'class':'board')
可是因為我太頻繁讀取網站，網站會跳出一個網頁寫說
"太頻繁讀取，請稍後再來"(網址是一樣的)
這樣我就找不到我要的table
所以我想要請問
有沒有甚麼方法可以讓我可以過幾秒之後再回去讀取網頁?
我用過time.sleep(10)方式，等10s去讀沒有用QQ
在urlopen後面加上timeout=20也沒有用...因為不是被block的關係吧?
是被轉到內容(網址沒有變),所以加上timeout沒有用....
卡了幾天了，懇請幫忙m(_ _)m
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.77.57
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1460127620.A.08D.html
1F：推 CaptainH: 等10秒不夠就等20秒啊 04/08 23:13
2F：→ uranusjr: timeout 是指連不上的話在多久之後「放棄」, 不是你要的 04/08 23:28
3F：→ uranusjr: 用 sleep 是最簡單的解, 至於要等多久就要看網站而定 04/08 23:28
4F：→ s860134: 一樓最佳解ＸＤ 另外你可以多準備幾個 proxy 來讀 04/08 23:35
5F：→ s860134: urllib.request.ProxyHandler 04/08 23:40
!!!!!!!!哈哈哈哈哈哈，一樓一語點醒我夢中人阿
剛剛發現更好的方法
用except:
time.sleep(10)
這樣沒有成功就可以一直等了!!!
謝謝大家!!!!
※ 編輯: kiloxx (114.36.77.57), 04/09/2016 00:01:55
6F：推 busystudent: 其實你這樣time.sleep(10)改成20秒不夠好，你該試著 04/09 00:07
7F：→ busystudent: 讓程式碼依序停1秒或5秒 04/09 00:07
8F：→ busystudent: time.sleep(randint(1,5)) 04/09 00:08
9F：→ busystudent: 記得還要這一行from random import randint 04/09 00:08
10F：→ kenduest: 另外若你是對同一個網站下達抓取資料，建議多利用 04/09 00:40
11F：→ kenduest: HTTP/1.1 的 keep-alive 方式連續抓取 04/09 00:40
12F：→ kenduest: 也就是一個 connection 下可以有多個 http request 04/09 00:41
13F：→ kenduest: 上面寫法會變成切斷連線之後重新產生一個新的連線 04/09 00:42
14F：→ kenduest: 建議可以裝 requests 替代要使用 keep alive 比較快 04/09 01:07
15F：推 eight0: 也可以參考 header "Retry-After" 04/09 06:34