Robots.txt文件的作用
下面说明下Robots.txt文件的写法。
1.如果你站点中的所有文件，都想让蜘蛛爬取和收录的话，那么语法就这样写:
User-agent: *
Disallow:
但是，如果你的网站中，全部的文件都想让搜索引擎索引的话，你也可以不管这个文件。
2.完全禁止搜索引擎来访的Robots.txt文件写法:
User-agent: *
Disallow: /
2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:
04月
17
2015
Robots.txt文件的作用
-
图标汇集
