看板FreeBSD
標 題請教 如何分辨來訪的 ip 是 user 或 proxy 或 spider
發信站Shaw Residential Internet (Mon Jan 17 06:34:19 2005)
轉信站ptt!ctu-reader!ctu-peer!news.nctu!newshub.sdsu.edu!cyclone.bc.net!news
請教,
如何分辨
來訪的 ip 或 domain 是
普通 user /或 proxy /或 spider ?
因為為了限制頻寬, 想對 spider 加以限制
而,似乎有些 spider 仍不理 robots.txt
謝謝
<: Neuro :>
http://neuro.ohbi.net
http://neuro.no-ip.info
http://neuro.dyndns.tv
http://neuro.supt.net
http://neuro.taiwantop.com