作者poorjack (噢优)
看板Python
标题[问题] 抓网页的一个疑问
时间Mon Oct 19 16:01:48 2009
python里比较常用的抓网页程式应该就是urllib和urllib2了
用了这两个module抓网页一段时间後,我发现一个很奇怪的问题
那就是抓google或yahoo的资料被档後,总是会被锁上几个小时~1天的时间
在这段时间里,程式都不能抓到网页,
但是直接在网页输入query和点击网页却又可以进得去
请问有人知道这是什麽原因吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.116.245.199
1F：推 superGA:query太频繁 如果你继续抓 你ip区段的电脑都会一起被锁 10/19 16:04
2F：→ sbrhsieh:还可以使用浏览器浏览页面表示 IP 还没有被档 10/19 22:14
3F：→ sbrhsieh:一旦 yahoo 回应 999,你使用任何程式都没有办法下载页面 10/19 22:15
4F：推 huggie:sleep 几秒再抓下一个 10/21 12:55
5F：→ gmp3fs:Y!的999不知道有没有锁学网的Proxy喔? 10/21 17:12