作者Gitangan (周大猫)
看板java
标题[问题] 抓取网页时所产生的问题．．．
时间Wed Mar 26 17:47:36 2008
最近写一个java，
抓取网页上的内容，
再来处理，撷取html里的内容文字，
可是在抓取网页时，
抓了几些时间，譬如说10分钟 or 1小时後，
就会出现
Exception in thread "main" java.io.IOException: Server returned HTTP response
code: 500 for URL:
http://www.XXXX.com.tw/
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
错误的这个网页，实际贴到ie里，是有网页的。
--
十个男人七个宅八个宅九个宅还是宅宅宅宅宅。
－正妹
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 122.125.96.72
1F：→ kyoby:拜托Thread.sleep一下吧，人家服务器负荷很大的啦... 03/26 17:48
2F：→ Gitangan:有tread.sleep 了@@"抓取30笔停10秒 03/26 17:49
3F：推 kyoby:那就catch掉那个异常，如果没啥影响的话... 03/26 17:53
4F：→ Gitangan:谢 我怎没想到= = 03/26 17:59
5F：推 PsMonkey:Server 的问题是没办法抵抗的 XD 03/26 19:24