作者darklimit ()
看板Python
标题[问题] HTTP Error 500???
时间Thu May 16 21:01:06 2013
在爬行资料的过程中
三不五时爬到一半的时候
会出现错误
HTTPError: HTTP Error 500: Internal Server Error
但在程式码上也有写了random.randint(5, 10)
随机停止暂停後再继续
为什麽还是有这样的状况发生?
是时间还要拉长吗?!
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.135.114.123
1F：→ darklimit:会是爬行资料太多吗? 还是将爬行资料拆开跑??? 05/16 21:05
2F：→ kdjf:理论上500是指server自已出的问题,但也可能是对方故意放的 05/16 22:42
3F：→ darklimit:但都已经有暂停再继续，还会back http error? 05/16 22:51
4F：→ qwertmn:server 错误..不代表她已经知道你是爬虫.. 05/16 23:53
5F：→ qwertmn:再来就是如果你delay 是在吃到500之後才下XD 05/16 23:56
6F：→ qwertmn:通常档不会只档几秒钟的ˇˇ 05/16 23:57
7F：→ darklimit:知道是爬虫?←这句话不太懂?!所以要下在500之前吗?! 05/17 11:48