作者kondy (淨芯藍)
站內java
標題[問題] HttpURLConnection使用上限?
時間Tue Jul 15 21:50:38 2008
不好意思 想請問一下
目前在用excel記錄網頁上的資料
但是在做io的時候發生了這個例外情況
發生了java.io.IOException: Server returned HTTP response code: 999 for URL:
(我給的網址)例外
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
//讀取連結
BufferedReader in = new BufferedReader(new
InputStreamReader(connection.getInputStream()));
//line = in.readLine();
while((line = in.readLine())!=null){
//處理我要的資料
}
in.close();
讀取連結的部份是爬板上的文得到的
在想是不是存連結資訊的陣列(或什麼東西)
被我塞滿了 才產生這個問題
那是不是那邊要釋放掉記憶體我沒有做到
因為這段程式會被主程式一直呼叫 去截取網頁上的資訊
或者是說因為過度的連結 是被網站那邊封鎖了?
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 220.143.149.194
1F：推 superlubu:Error 999 通常是你太用力去操 web server 07/15 21:53
2F：→ kondy:請問那有辦法解決嗎??因為要更新的資料頗多 目前也在測 07/15 22:02
3F：→ kondy:所以會更大量的呼叫 剛剛重開機完可以在呼叫 但很快又滿了 07/15 22:04
4F：→ kondy:web server被裝滿了有沒有什麼方法能清掉或其他方式能再使用 07/15 22:07
5F：推 slalala:那是他"response"給你的 07/15 22:19
6F：推 superlubu:不是裝滿，你是短時間內扯太多了. 07/15 22:20
7F：→ superlubu:在每次下載完一頁後 sleep 個一秒兩秒就該比較好 07/15 22:22
8F：推 slalala:可以告知什麼網站?操過中時 聯合 USPTO 無名 都沒出現過XD 07/15 22:25
9F：推 superlubu:Yahoo 好像會有這種情況，不過真的要蠻巨量的 07/15 22:33
10F：→ kondy:是YAHOO的網站 因為所需的資料一個網頁只有一部份 07/15 22:43
11F：→ kondy:所以拉會很快 一個網頁一個網頁過去 剛剛突然想到 抓到需 07/15 22:46
12F：→ kondy:要的部份則結束這個網頁的搜尋 這樣會好一點嗎?? 07/15 22:47
13F：推 slalala:不會 乖乖的用SLEEP吧 07/15 23:09
14F：推 nike4859:Yahoo的新聞要用Socket才不會被鎖 07/16 23:31
15F：推 runtime:yahoo 有很多方法可以繞過 07/17 20:49
16F：→ kondy:可以請問樓上要用什麼方式嗎??這兩天試了sleep還是被鎖 07/17 23:28
17F：→ kondy:剛剛讓他sleep10秒還是一樣>"< 還是說我寫錯方向了?? 07/17 23:31
18F：推 nike4859:我自己抓YAHOO新聞的經驗，用HttpURLConnection必鎖 07/18 13:12
19F：推 nike4859:上述經驗有誤，更正是抓YAHOO生活家～ 07/18 16:30