04月
18
2015

如何识别Baiduspider

如何识别Baiduspider

如何识别Baiduspider

禁止某个用户(IP)访问网站,可以禁封该用户的IP地址。作者之前在禁封IP地址时,不慎把Baiduspider的IP也禁了,造成网站收录和快照停止。你可能会说了:只要我们知道Baiduspider的IP地址,把它放入白名单加以保护,不就可以防止误封了吗?表面看上去好像是这样的,但Baiduspider的IP池是不断变动的,我们无法获得其IP全集。

另外作者还发现,有时Baiduspider的访问过于频繁,造成服务器所承载的压力过大。但是通过百度站长平台发现,Baiduspider对站点的抓取并无异常,而那个频繁光临的spider极有可能是个“山寨”。

«1»