不好意思、我遇到了一个问题 我想要抓取公开资讯站上面的损益表 於是我用webrequest的方式去抓取1300多只的资讯 我是用回圈的方式针对每支去抓 但是碰到一个问题、就是每抓20-30只左右时 就会出现「作业逾时」 我有尝试过每抓一支时、就设定一个Thread.Sleep 我从1秒到10秒都尝试过 但是就是不时抓个几只的时候、就会出现「作业逾时」 我有试着、当出现「作业逾时」的时候、重新跑一次webrequest 但是似乎没用、不过这时候关掉程式在开一次、又再度可以抓取约20-30只的资讯 这是什麽问题呢？ 我有想过是不是抓取的频率太频繁、被当做是攻击 不过关掉主程式再开一次、又可以在抓取个几只 我用这个方法、有抓取过yahoo的股票资讯 Thead.Sleep设定5秒就可以避开被当做恶意攻击 有可以帮我解答的嘛>"< 我卡好久了... 谢谢>"< =====(补充)========= 我刚刚上网又去爬了一下文 我发现是我的WebResponse没有Close的关系 我後来修改了一下、似乎可以正常抓取了 请问我这样子的方式是正确的嘛？ 虽然程式working中... 但是也不知道是不是真的是这个问题 --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 122.118.190.179 ※ 编辑: sunz5010 来自: 122.118.190.179 (12/15 22:08)