04月
18
2015

如何识别Baiduspider

作者:zhushican 发布:2015-04-18 分类:seo教程 阅读: 次 0条评论

如何识别Baiduspider

禁止某个用户IP)访问网站,可以禁封该用户的IP地址。作者之前在禁封IP地址时,不慎把Baiduspider的IP也禁了,造成网站收录和快照停止。你可能会说了:只要我们知道Baiduspider的IP地址,把它放入白名单加以保护,不就可以防止误封了吗?表面看上去好像是这样的,但Baiduspider的IP池是不断变动的,我们无法获得其IP全集。

另外作者还发现,有时Baiduspider的访问过于频繁,造成服务器所承载的压力过大。但是通过百度站长平台发现,Baiduspider对站点的抓取并无异常,而那个频繁光临的spider极有可能是个“山寨”。

那么,站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢?
 
可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
 
1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 
2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 
3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

 

除非注明,本站所有文章均为 zhushican 原创,转载请注明出处! 标签:Baiduspider  
« 上一篇下一篇 »

您可能还会对这些文章感兴趣!

如何识别Baiduspider:目前有0条评论