Robots.txt文件的作用

下面说明下Robots.txt文件的写法。

1.如果你站点中的所有文件，都想让蜘蛛爬取和收录的话，那么语法就这样写:

User-agent: *
Disallow:

但是，如果你的网站中，全部的文件都想让搜索引擎索引的话，你也可以不管这个文件。

2.完全禁止搜索引擎来访的Robots.txt文件写法:

User-agent: *
Disallow: /

2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:

User-agent: Googlebot
Disallow: /

3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:

User-agent: *
Disallow: /admin/
Disallow: /images/

4.禁止Google抓取网站中的图片文件:

User-agent: Googlebot
Disallow: /*.gif$