看板FreeBSD
标 题如何阻挡搜寻网站用 robot 抓取网页~
发信站阳光椰林BBS站 (Sat Jan 8 05:14:37 2005)
转信站ptt!ctu-reader!ctu-peer!ctu-gate!news.nctu!news2.ncku!news.ncku!alwayb
一般来说都是设定 robots.txt 即可~
但是要放在哪里才能真正作用?
Apache 里的 Document Root 指定的位置就好...
还是说连 Visual Host 的每个路径都要?
而且发现, robots.txt 对大陆的 baidu(百度:
http://www.baidu.com/)无效~
但是 baidu 抓取的资料量又是最多的(死大陆仔)~
有没有办法可以阻挡?
--
※ Origin: 阳‧光‧椰‧林 <alway.twbbs.org>
◆ From: www.me.isu.edu.tw(140.127.180.130)