作者supermars (酸民好会自嗨XD)
看板Blog
标题[其他] robots.txt 空白、预设值哪个比较好?
时间Mon Jul 18 21:48:01 2016
目前我只知道 robots.txt的作用就是允许or禁止某一个搜寻引擎找到网站资料!
目前看了一些网站教学还是有点茫然~
茫然地点有：
1.不知道有哪些状况会想把自己的网站对某个搜寻引擎给封闭?
2.以下是blogspot预设的robots.txt数值
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://自己网站/sitemap.xml
第一段看起来是允许Mediapartners-Google搜寻的意思，既然允许为何还要添加这一段?
3.同上，第二段的第一个agent的意思应该是(开放所有寻引擎)，但下面不允许、允许
都有放上 / ，怎麽看起来是一个不允许、一个又允许了呢?
以上是我的疑问，谢谢!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.162.56.207
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Blog/M.1468849684.A.F97.html
1F：→ CP64: 代表说 Mediapartners-Google 不限制 07/19 21:47
2F：→ CP64: 其他的 bot 除了 /search 以外都允许 07/19 21:47
3F：→ supermars: 谢谢，感觉没事不要乱调整好像比较好QQ 07/20 02:06