看板FreeBSD
标 题Re: 如何阻挡搜寻网站用 robot 抓取网页～
发信站Shaw Residential Internet (Sun Jan 9 11:24:07 2005)
转信站ptt!ctu-reader!ctu-peer!news.nctu!newshub.sdsu.edu!elnk-nf2-pas!elnk-p
请教,
如何 用 freeBSD 的 firewall (ipfw ? ) 封杀 这些 ip subnet 呢 ?
要写在哪个档? & 要啥内容?
我用 fBSD 5.3
谢谢
<: Neuro :> - 我是 fBSD 新手
===
"男儿志在四方..." <
[email protected]> 撰写於邮件新闻:
[email protected]...
>※ Meditator (男儿志在四方...) wrote:
>> ※
[email protected] (蛋饼) wrote:
>> > 一般来说都是设定 robots.txt 即可～
>> > 但是要放在哪里才能真正作用？
>> > Apache 里的 Document Root 指定的位置就好...
>> > 还是说连 Visual Host 的每个路径都要？
>> > 而且发现， robots.txt 对大陆的 baidu（百度:
http://www.baidu.com/）无效～
>> >
>> > 但是 baidu 抓取的资料量又是最多的（死大陆仔）～
>> > 有没有办法可以阻挡？
>> 猛一点直接封IP段阿~~@@ 把百度的IP段全部封死~
> IP区段: 61.135.0.0 - 61.135.255.255
> 加油~^^