作者Ghostxwolf (五十炒去三色豆)
看板C_Sharp
标题[问题] htmlagilitypack 作业逾时?
时间Sat Nov 21 14:23:55 2015
大家好
昨天写好一支程式要用htmlagilitypack去网路上抓资料
并且存入资料库内
目前要抓的资料大约有50笔(也就是有50个网页)
可是不知道为何程式在跑的时候
在using(MemoryStream ms = new MemoryStream(client.DownloadData(url)))这边
会跑出作业逾时的问题
按下继续(F5)後他又就会继续开始抓
而每次跑出作业逾时的时间都不太一样
例如抓了6笔资料後出现
又抓了1笔资料後出现
再来可能在抓个3笔资料後出现
上网查了一下是说要设Timeout就能解决
但htmlagilitypack没有这项设定......
而我另外想了一个办法是
当他跑出作业逾时的时候能自动继续 (因为之後要抓约10000笔资料)
这我就不知道怎麽设定 上网也查不到相关资料
请问该怎麽办呢?
谢谢!!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.40.232.65
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/C_Sharp/M.1448087038.A.7F6.html
1F:→ soup514: override getwebrequest 自己加timeout 11/22 11:49