作者kondy (净芯蓝)
站内java
标题[问题] HttpURLConnection使用上限?
时间Tue Jul 15 21:50:38 2008
不好意思 想请问一下
目前在用excel记录网页上的资料
但是在做io的时候发生了这个例外情况
发生了java.io.IOException: Server returned HTTP response code: 999 for URL:
(我给的网址)例外
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
//读取连结
BufferedReader in = new BufferedReader(new
InputStreamReader(connection.getInputStream()));
//line = in.readLine();
while((line = in.readLine())!=null){
//处理我要的资料
}
in.close();
读取连结的部份是爬板上的文得到的
在想是不是存连结资讯的阵列(或什麽东西)
被我塞满了 才产生这个问题
那是不是那边要释放掉记忆体我没有做到
因为这段程式会被主程式一直呼叫 去截取网页上的资讯
或者是说因为过度的连结 是被网站那边封锁了?
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 220.143.149.194
1F：推 superlubu:Error 999 通常是你太用力去操 web server 07/15 21:53
2F：→ kondy:请问那有办法解决吗??因为要更新的资料颇多 目前也在测 07/15 22:02
3F：→ kondy:所以会更大量的呼叫 刚刚重开机完可以在呼叫 但很快又满了 07/15 22:04
4F：→ kondy:web server被装满了有没有什麽方法能清掉或其他方式能再使用 07/15 22:07
5F：推 slalala:那是他"response"给你的 07/15 22:19
6F：推 superlubu:不是装满，你是短时间内扯太多了. 07/15 22:20
7F：→ superlubu:在每次下载完一页後 sleep 个一秒两秒就该比较好 07/15 22:22
8F：推 slalala:可以告知什麽网站?操过中时 联合 USPTO 无名 都没出现过XD 07/15 22:25
9F：推 superlubu:Yahoo 好像会有这种情况，不过真的要蛮巨量的 07/15 22:33
10F：→ kondy:是YAHOO的网站 因为所需的资料一个网页只有一部份 07/15 22:43
11F：→ kondy:所以拉会很快 一个网页一个网页过去 刚刚突然想到 抓到需 07/15 22:46
12F：→ kondy:要的部份则结束这个网页的搜寻 这样会好一点吗?? 07/15 22:47
13F：推 slalala:不会 乖乖的用SLEEP吧 07/15 23:09
14F：推 nike4859:Yahoo的新闻要用Socket才不会被锁 07/16 23:31
15F：推 runtime:yahoo 有很多方法可以绕过 07/17 20:49
16F：→ kondy:可以请问楼上要用什麽方式吗??这两天试了sleep还是被锁 07/17 23:28
17F：→ kondy:刚刚让他sleep10秒还是一样>"< 还是说我写错方向了?? 07/17 23:31
18F：推 nike4859:我自己抓YAHOO新闻的经验，用HttpURLConnection必锁 07/18 13:12
19F：推 nike4859:上述经验有误，更正是抓YAHOO生活家～ 07/18 16:30