作者arp (两栖挖土工人)
看板PHP
标题[请益] .htaccess 挡搜寻引擎爬虫
时间Fri Aug 14 10:03:31 2015
各位高手, 有个问题想跟大家请教,
目前有个需求我有一个web site 绑了两组domain,
但是我只有其中一组domain想开放给各大搜寻引擎爬,
请问我是否能够透过.htacces去做处理?
ex. web site: xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
a.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
(a.arptest.com 这组domain 可被搜寻引擎SEO)
b.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
(b.arptest.com 这组domain 不想在网路上被搜寻引擎爬到)
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.124.123.253
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PHP/M.1439517813.A.95B.html
1F：→ MangoTW: robot.txt? 08/14 11:50
2F：推 dlikeayu: google geoip white list 08/14 15:47
3F：推 dlikeayu: 然後用limit request coonect 模组挡加记log 08/14 15:51
4F：→ dlikeayu: 最後再装爬log 应用去做最後判断要不要加到iptables 08/14 15:52
5F：→ dlikeayu: 这样可以挡两层 加省记忆体 08/14 15:53
6F：推 hareion08: 听说是防君子不防小人 08/15 23:42