这些搜索引擎的垃圾蜘蛛程序是许多Webmaster所深恶痛绝的，这些bad spider不遵守robots协议, 对服务器无限度的频繁抓取，甚至超过了网站访问用户的自然访问量(流量)，很多国外虚拟主机( eg:Dreamhost )都会不堪重负。

如何屏蔽这些垃圾搜索引擎的蜘蛛？

通过分析网站访问记录(logs文件)，找到并禁止这些垃圾蜘蛛的IP是最直接有效的办法：

在网站根目录建立.htaccess文件，如果原来就有.htaccess，就直接添加上如下设定来禁止这些bad spiders ip.

#block spider

<Limit GET HEAD POST>
order allow,deny
#Sogou block
deny from 220.181.61
#Baiduspider block
deny from 123.125.66
deny from 220.181.7
#Sosospider block
deny from 124.115.4
deny from 124.115.0
#block hacker
deny from 210.83.81.80
deny from 61.160.213.57
deny from 87.210.31
allow from all
</LIMIT>

最后更新Spam spider IP: 2009-08-20

以上这些蜘蛛ip是我在2009年8月4-14号之间收集的，这些垃圾蜘蛛会隔一段时间更换IP,到时候需要按照需要修改之。

当然，如果你需要获得来自百度的流量和客户，做百度SEO，那么就不要禁止Baiduspider了。
如果你的网站是中文的、使用的是国外虚拟主机，当网站文章数据或图片超过1000篇左右，主机商可能会提示你超过负荷，要求你更换或升级到VPS（不便宜的VPS！），你别担心是因为数据太多，大多时候往往是这些垃圾蜘蛛频繁抓取网站数据而造成了负载过高，去禁止一下这些垃圾蜘蛛，很可能就是原因所在。