作者arp (兩棲挖土工人)
看板PHP
標題[請益] .htaccess 擋搜尋引擎爬蟲
時間Fri Aug 14 10:03:31 2015
各位高手, 有個問題想跟大家請教,
目前有個需求我有一個web site 綁了兩組domain,
但是我只有其中一組domain想開放給各大搜尋引擎爬,
請問我是否能夠透過.htacces去做處理?
ex. web site: xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
a.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
(a.arptest.com 這組domain 可被搜尋引擎SEO)
b.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
(b.arptest.com 這組domain 不想在網路上被搜尋引擎爬到)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.123.253
※ 文章網址: https://webptt.com/m.aspx?n=bbs/PHP/M.1439517813.A.95B.html
1F：→ MangoTW: robot.txt? 08/14 11:50
2F：推 dlikeayu: google geoip white list 08/14 15:47
3F：推 dlikeayu: 然後用limit request coonect 模組擋加記log 08/14 15:51
4F：→ dlikeayu: 最後再裝爬log 應用去做最後判斷要不要加到iptables 08/14 15:52
5F：→ dlikeayu: 這樣可以擋兩層 加省記憶體 08/14 15:53
6F：推 hareion08: 聽說是防君子不防小人 08/15 23:42