SEMrush蜘蛛 等搜索引擎蜘蛛爬虫需要屏蔽吗

    最近一段时间我们发现有些时段在线用户突然增多，经过查看网站日志及查询IP数据后确定为 SEMrush蜘蛛：

SEMrush蜘蛛

SEMrush蜘蛛IP数据

   我们先来了解下 SEMrush蜘蛛（SEMrushBot）：
   SEMrushBot，它是一款功能强大的 SEO 及 SEM 综合工具，在线营销市场上占据着举足轻重的地位；它的原理就是SEMrush的服务器搜索互联网上所有有价值的网站，将网站的数据存入到数据库，对其进行分析归类，是一款很好的网站分析工具，可以说是分析自己网站和竞争对手网站状况的一大神器。
   经搜索蜘蛛SEMrushBot有中文网站，感兴趣的同学自己搜索下看看。


   另外，还出现了神马搜索蜘蛛，因这搜索蜘蛛了解不多，就不介绍了：


   对于SEMrush蜘蛛来说，我们感觉目前没多大用处，另考虑到占用服务器资源，我们决定屏蔽掉。另外还有几个蜘蛛根据情况来屏蔽：
   DotBot, 这是moz旗下的，作用是提供seo服务的蜘蛛，但是对我们并没有什么用处。好在遵循robots协议，可以使用robots屏蔽
   AhrefsBot， 这是ahrefs旗下的蜘蛛，作用是提供seo服务，对我们没有任何用处，遵循robots协议。
   MJ12bot，这是英国的一个搜索引擎蜘蛛，但是对中文站站点就没有用处了，遵循robots协议。
   MauiBot，这个不太清楚是什么，但是有时候很疯狂，好在遵循robots协议。
   MegaIndex.ru，这是一个提供反向链接查询的网站的蜘蛛，因此它爬网站主要是分析链接，并没有什么作用。遵循robots协议。
   BLEXBot, 这个是webmeup下面的蜘蛛，作用是收集网站上面的链接，对我们来说并没有用处。遵循robots协议



   下面来看下屏蔽方法：我们先用FTP上传工具找到网站根目录下的robots.txt文件，打开并把以下内容加进去并保存：

User-agent: SemrushBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BLEXBot
Disallow: /

屏蔽蜘蛛爬虫

   根据同学们的实际需求屏蔽这些蜘蛛爬虫。