作者conan99 (Conan)
看板java
标题[JSP ] 连线过久的问题
时间Tue Mar 9 11:34:48 2010
各位前辈
我最近在写一个网站，大致的功能如下：
client送query到server
server再透过JAVA到其它网站抓取网页的文字回来处理
抓取的网页有上千或上万个
经过一些处理之後，再将处理结果回传给client
但应该是一个个抓取成千上万个网页的关系
从query到结果回传的时间要数十分钟
我有将抓过的网页处理结果存放到DB里面
所以下次的query可增加速度
想请教两方面的问题
一、透过JAVA抓取网页的速度有办法加快吗？我是抓网页的程式码如下：
URL urlObj = new URL(url);
Proxy proxy = new Proxy(Proxy.Type.HTTP,
new InetSocketAddress(ntutProxy , proxyPort));
URLConnection conn = urlObj.openConnection(proxy);
DataInputStream dis = new DataInputStream(conn.getInputStream());
BufferedOutputStream bos ;
bos = new BufferedOutputStream(new FileOutputStream(file_name));
二、想利用client多下一些query，把DB多塞一些东西，好增加往後的速度
但起初连线一段时间後，会出现Timeout的讯息，於是我把tomcat的Timeout设定拉长
client端也不透过proxy连线到server（proxy有timeout时间）
如此，还有什麽地方要注意，可以让浏览器开启网页可以久一点的吗
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.124.144.102
1F：→ ogamenewbie:1.一个一个连还是一次全连? 03/09 11:46
2F：→ ogamenewbie:2.哪边 timeout? 03/09 11:46
3F：→ conan99:一个一个连，就是一个页抓完并处理完後，再进行下一个网页 03/09 12:08
4F：→ conan99:是client端的浏览器出现timeout讯息 03/09 12:11
5F：→ ogamenewbie:1.那就开 thread 一次多连 2.那就加js自动refresh 03/09 13:41
6F：→ TonyQ:client 出现timeout 那也是 server 设定的 connectionTimeou 03/09 14:10