看板FreeBSD
標 題如何阻擋搜尋網站用 robot 抓取網頁～
發信站陽光椰林BBS站 (Sat Jan 8 05:14:37 2005)
轉信站ptt!ctu-reader!ctu-peer!ctu-gate!news.nctu!news2.ncku!news.ncku!alwayb
一般來說都是設定 robots.txt 即可～
但是要放在哪裡才能真正作用？
Apache 裡的 Document Root 指定的位置就好...
還是說連 Visual Host 的每個路徑都要？
而且發現， robots.txt 對大陸的 baidu（百度:
http://www.baidu.com/）無效～
但是 baidu 抓取的資料量又是最多的（死大陸仔）～
有沒有辦法可以阻擋？
--
※ Origin: 陽‧光‧椰‧林 <alway.twbbs.org>
◆ From: www.me.isu.edu.tw（140.127.180.130）