作者eric770715 (北极熊)
看板PHP
标题[请益] 关於robots
时间Sun Apr 1 19:04:07 2007
大家好：
想请问一下关於Robots.txt的用法，
我照着Yahoo的网页去设定，
不知道这样做是不是正确，
请高手帮忙看一下：
User-agent: * //表示所有搜寻引擎
Disallow: /user/ //指定/user/底下的档案都不能读取
如果我Robots.txt没指定到的档案，
搜寻引擎会做检索吗？
我看Google的Robots.txt，
为什麽还有指定Allow的呢？
谢谢回答。
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 59.104.66.35