作者supermars (酸民好會自嗨XD)
看板Blog
標題[其他] robots.txt 空白、預設值哪個比較好?
時間Mon Jul 18 21:48:01 2016
目前我只知道 robots.txt的作用就是允許or禁止某一個搜尋引擎找到網站資料!
目前看了一些網站教學還是有點茫然~
茫然地點有：
1.不知道有哪些狀況會想把自己的網站對某個搜尋引擎給封閉?
2.以下是blogspot預設的robots.txt數值
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://自己網站/sitemap.xml
第一段看起來是允許Mediapartners-Google搜尋的意思，既然允許為何還要添加這一段?
3.同上，第二段的第一個agent的意思應該是(開放所有尋引擎)，但下面不允許、允許
都有放上 / ，怎麼看起來是一個不允許、一個又允許了呢?
以上是我的疑問，謝謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.56.207
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Blog/M.1468849684.A.F97.html
1F：→ CP64: 代表說 Mediapartners-Google 不限制 07/19 21:47
2F：→ CP64: 其他的 bot 除了 /search 以外都允許 07/19 21:47
3F：→ supermars: 謝謝，感覺沒事不要亂調整好像比較好QQ 07/20 02:06