原文: http://blog.stoorz.org/archives/2007/03/12/84/ 繼上次看到 Yahoo 在五分鐘之內放出 12 隻 bot 來索引我的網頁之後，剛剛又看 到五分鐘之內有五十幾隻 Yahoo Bot 跑來想要索引我的 blog 文章。 基本上，被索引是正常的，這樣搜尋引擎才知道怎麼讓別人找到你的網頁，但是像 Yahoo 的 bot 這樣子短時間之內大量存取網頁，而且頻率又那麼高，幾乎隨時都 可以在後台看到 Yahoo 的 bot 在看我的 blog 文章。 索引頻率這麼高，對自己架站的部落客來說，一方面頻寬會被吃掉，另一方面如果 是買 hosting 之類的虛擬主機，每個月又有流量限制，光被 bot 索引就吃掉大部 分的流量了。 解決的辦法就是利用 robots.txt 來限制 Yahoo bot 的索引速度。只要在根目錄 下產生一個檔名叫做 robot.txt 的檔案，裡面的內容為 User-agent: * Disallow: User-agent: Slurp Crawl-delay: 300 這樣就可以告訴 Yahoo 的 bot 間隔五分鐘才能來索引一次。 至於 Google 的 bot，只要有設定 sitemap 的話，就會依照 sitemap 的設定頻率來索引，所以比 較沒有問題。 原文: http://blog.stoorz.org/archives/2007/03/12/84/ -- stOOrz http://blog.stoorz.org/ --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 218.169.233.14