看板FreeBSD
標 題Re: 如何阻擋搜尋網站用 robot 抓取網頁～
發信站Shaw Residential Internet (Sun Jan 9 11:24:07 2005)
轉信站ptt!ctu-reader!ctu-peer!news.nctu!newshub.sdsu.edu!elnk-nf2-pas!elnk-p
請教,
如何 用 freeBSD 的 firewall (ipfw ? ) 封殺 這些 ip subnet 呢 ?
要寫在哪個檔? & 要啥內容?
我用 fBSD 5.3
謝謝
<: Neuro :> - 我是 fBSD 新手
===
"男兒志在四方..." <
[email protected]> 撰寫於郵件新聞:
[email protected]...
>※ Meditator (男兒志在四方...) wrote:
>> ※
[email protected] (蛋餅) wrote:
>> > 一般來說都是設定 robots.txt 即可～
>> > 但是要放在哪裡才能真正作用？
>> > Apache 裡的 Document Root 指定的位置就好...
>> > 還是說連 Visual Host 的每個路徑都要？
>> > 而且發現， robots.txt 對大陸的 baidu（百度:
http://www.baidu.com/）無效～
>> >
>> > 但是 baidu 抓取的資料量又是最多的（死大陸仔）～
>> > 有沒有辦法可以阻擋？
>> 猛一點直接封IP段阿~~@@ 把百度的IP段全部封死~
> IP區段: 61.135.0.0 - 61.135.255.255
> 加油~^^