作者darklimit ()
看板Python
標題[問題] HTTP Error 500???
時間Thu May 16 21:01:06 2013
在爬行資料的過程中
三不五時爬到一半的時候
會出現錯誤
HTTPError: HTTP Error 500: Internal Server Error
但在程式碼上也有寫了random.randint(5, 10)
隨機停止暫停後再繼續
為什麼還是有這樣的狀況發生?
是時間還要拉長嗎?!
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.135.114.123
1F：→ darklimit:會是爬行資料太多嗎? 還是將爬行資料拆開跑??? 05/16 21:05
2F：→ kdjf:理論上500是指server自已出的問題,但也可能是對方故意放的 05/16 22:42
3F：→ darklimit:但都已經有暫停再繼續，還會back http error? 05/16 22:51
4F：→ qwertmn:server 錯誤..不代表她已經知道你是爬蟲.. 05/16 23:53
5F：→ qwertmn:再來就是如果你delay 是在吃到500之後才下XD 05/16 23:56
6F：→ qwertmn:通常檔不會只檔幾秒鐘的ˇˇ 05/16 23:57
7F：→ darklimit:知道是爬蟲?←這句話不太懂?!所以要下在500之前嗎?! 05/17 11:48