优化网站的终极绝学——我是蜘蛛
我是蜘蛛，也有人管我就网络爬虫，总之，我是搜索引擎的一个自动程序，我每天的工作就是访问互联网上的“html”网页。我的好奇心很强，通常对于第一次遇到的“html”网页，我都会把它们带回来，放到索引数据库里面，你能在搜索引擎上找到的网页就是我带回来的。
因为我是一个自动程序，我是依靠各项设定的规则来行动的，如果你想知道我的行动规则，就继续向下读吧。
我每天都非常勤奋的工作，从来都不知道休息，我最喜欢去的地方就是网站提交服务器，因为大家会把最新的网站网址提交到那里，沿着提交过来的网址，我总能找到很多的“html”网页。但是对于这些新提交过来的网址，我还是非常挑剔的。我最怕的就是沿着网址爬过去了，却发现什么都没有，或者爬过去之后发现发现环境很不稳定，有的道路都是死路口或者错误的路口，对于这种情况，我会毫不犹豫的马上走掉，什么都不带走。当然，我走了以后，还会抽空再过来看看，如果情况长时间没有改变，我就发誓这辈子都不再来了。相反，如果我来的时候，发现环境很好，道路通畅，而且内容丰富，我的心情自然就变的非常的好，不仅会带走很多东西，而且会经常的光顾，这样的情况持续的时间长了，我就会非常信任这样的站点。
