作者hidoro (hidoro)
看板C_Sharp
标题[问题] ASP C# 抓网页原始码 愈时&远端伺服问题
时间Mon Sep 17 16:32:45 2012
想问一下大家有没有遇到这个问题
就是在抓网页的原始码时
我的程式要抓六百多笔网页
但是有些网页会遇到 要求已经中止: 作业逾时。
跟 一个错误 远端伺服器传回一个错误: (500) 内部伺服器错误。
不知道大家有没有这个问题 及解决方法
我的程式是这样
request = (HttpWebRequest)WebRequest.Create(URL);
request.MaximumAutomaticRedirections = 4;//原本没有上网查到 但好像也没有用
request.MaximumResponseHeadersLength = 4;//跟上面一样
request.Credentials = CredentialCache.DefaultCredentials;
response = (HttpWebResponse)request.GetResponse();
receiveStream = response.GetResponseStream();
readStream = new StreamReader(receiveStream, Encoding.UTF8);
string ucode3 = readStream.ReadToEnd();
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 203.64.84.41
1F：→ XFantasyX:遇到这些错误是会跳Exception吗? 如果是的话就catch起来 09/17 16:37
2F：→ XFantasyX:再重新跑一次应该可以吧 09/17 16:37
3F：→ julieting:我也有遇到这样的问题QQ 04/26 13:39