原文: http://blog.stoorz.org/archives/2007/03/12/84/ 继上次看到 Yahoo 在五分钟之内放出 12 只 bot 来索引我的网页之後，刚刚又看 到五分钟之内有五十几只 Yahoo Bot 跑来想要索引我的 blog 文章。 基本上，被索引是正常的，这样搜寻引擎才知道怎麽让别人找到你的网页，但是像 Yahoo 的 bot 这样子短时间之内大量存取网页，而且频率又那麽高，几乎随时都 可以在後台看到 Yahoo 的 bot 在看我的 blog 文章。 索引频率这麽高，对自己架站的部落客来说，一方面频宽会被吃掉，另一方面如果 是买 hosting 之类的虚拟主机，每个月又有流量限制，光被 bot 索引就吃掉大部 分的流量了。 解决的办法就是利用 robots.txt 来限制 Yahoo bot 的索引速度。只要在根目录 下产生一个档名叫做 robot.txt 的档案，里面的内容为 User-agent: * Disallow: User-agent: Slurp Crawl-delay: 300 这样就可以告诉 Yahoo 的 bot 间隔五分钟才能来索引一次。 至於 Google 的 bot，只要有设定 sitemap 的话，就会依照 sitemap 的设定频率来索引，所以比 较没有问题。 原文: http://blog.stoorz.org/archives/2007/03/12/84/ -- stOOrz http://blog.stoorz.org/ --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 218.169.233.14