怎样清除网站重复内容
当网站里面存在有重复内容时，可以通过改变网站的结构来完全清除它们，但是有时候网站不得不包含重复内容，最常见的情况是当驱动网站的业务规则需要所谓的重复内容时。为了处理这个问题，可以只从搜索引擎的角度排除它，有两种排除重复页面内容的方法：
robots meta标签
robots.txt文档
使用robots meta标签，可以从网站中以页面为基础排除任何基于HTML的内容，当需要从一个现存的、源代码可用的网站中排除重复内容，或者当网站中包含很多复杂的动态URL地址时，它常常是一种较为容易使用的方法。标签如下：
<meta name="robots"content="noindex,nofollow"/>
将以下代码插入到要清除页面的HTML代码的<head>中，这段代码的意思是该页面不能被索引，并且页面的链接不能被跟踪。robots meta标签更多的是建议，搜索引擎接不接受这个建议还不一定，因此具有一定的被动性。
robots.txt是位于网站根目录下的文本文件，并符合robots.txt标准，在此重申一下，关于robots.txt需要记住3个基本的概念：
