MJ12bot是什么蜘蛛？什么是MJ12bot搜索引擎？

MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫，他有专门的中文站，对外链查询等很多SEO数据查询提供数据支撑，做过外链的都知道，获取外链资源是一项基本能力，这个网站可以查询网站的外链资源数。MJ12bot是Majestic-12分布式搜索引擎的爬虫。

在我们的网站根目录中的robots.txt文件中写上如下代码：

User-agent: MJ12bot
Disallow: /

以上本篇文章的全部内容了，感兴趣的小伙伴可以看看，更多精彩内容关注腾轩网www.tengxuanw.com

本站所有软件均来源于网络，仅供学习使用，请支持正版，如有侵权，联系删除！