作者godfat (godfat 真常)
看板Ruby
标题Re: [问题] 检查档案问题
时间Sun Sep 13 15:17:43 2009
※ 引述《ted66 (ted)》之铭言:
: 例如说 http://www.google.com.tw/ 的网站检查所有连结是否有问题
这句话看不太懂,google 的网站检查所有连结?
google 的网站?还是说 google 检查网站?
: 我是想过用抓取网页方式检查,如果超过一定的时间就当作失败
: 表示说那张图或是超连结是坏损的
404, 403 等等回应,算是坏的吗?
但如果你的坏掉定义是没有回应,那也只能用 timeout 了
: 但是好像会有问题,而且似乎会太慢(如果档案太多)
: 请问有指令可以跟所有档案做连结吗?
: (就单纯连接上所有档案的连结看是否有传送资料)
你可以用 HTTP HEAD 去看 server 是否会回应,
然後设个 timeout, 超过一定时间没有回应就算不存在。
如果说「太慢」是个问题,那就没办法了,因为你一定得等 server 回应。
解决办法是,同时处理 1000 个 URL, 找个 thread safe 的
http lib 吧,听说 Net::HTTP 没有 thread-safe.
--
「行け!Loki!」
(rocky ロッキー)
-Gurumin ぐるみん 王子? XD
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 220.135.28.18
1F:→ ted66:大概了解,那HTTP ERROR的部分应该就简单点了对吧!? 09/14 00:00