什么是robots文件？
robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访闰的部分，这样，该PM站的部分或全部内容就可以不被搜索引整收录了，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在rabots.txt,如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围。如果该文件不存在，那么搜索机器人就沿着链拾抓取。robots.txt必须放在一个站点的根目录，而且文件名必须全部小写。我们可以访问别人网站的robots文件。
