pr域名

什么是robots文件？

robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访闰的部分，这样，该PM站的部分或全部内容就可以不被搜索引整收录了，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在rabots.txt,如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围。如果该文件不存在，那么搜索机器人就沿着链拾抓取。robots.txt必须放在一个站点的根目录，而且文件名必须全部小写。我们可以访问别人网站的robots文件。

怎么设置robots？

Usez-agent:*
Disallow:/cgi-bin/
Disallow: /tmp/
Disallow:private/

User-agent:
该项的值用于描述搜索引擎robot的名字.在robots.txt文件中，如果有多条User-agent记录，说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录.如果该项的值设为*，则该协议对任何机器人均有效，在robots.txt文中，User-agent:*这样的记录只能有一条。

常用的搜索引擎蜘蛛：1、百度：Baiduspider 2、谷歌：Googlebot 3、雅虎：Yahoo 4、有道：YodaoBot 5、搜搜：Sosospider 6、搜狗：sogou 7、MSN：msnbot 。可以用*替换我们需要屏蔽的搜索引擎。

Disallow:
该项的值用于描述不希望被访间到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如Disallow:/help对/help.html和/help/index.html都不允许搜索引擎访问，而Disallow: /help/则允许robot访问/help.html，而不能访问/help/index.html。

任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在/robats.txt文件中，至少要有一条Disallow记录。如果/robots.txt是一个空文件，则对于所有的搜索引擎robot,该网站都是开放的。

百度站长平台可以对我们书写的robots进行诊断，是否规范。
http://zhanzhang.baidu.com/robots