VPS参考、测评、推荐
分享你关注的VPS主机优惠信息

阻止不遵循robots协议的搜索引擎蜘蛛抓取网页——不良机器人的黑洞

阻止不遵循robots协议的搜索引擎蜘蛛抓取网页——不良机器人的黑洞
阻止不遵循robots协议的搜索引擎蜘蛛抓取网页——不良机器人的黑洞

相信你还记得360搜擎不遵守robots协议被百度抓到挂机的事件。不评判谁对谁错。今天将讨论如何禁止这些不遵循robots协议的搜擎抓取我们不希望它们抓取的内容。

不久前,WordPress官方目录中增加了一个名为Blackhole for Bad Bots的,用于清理这些不守规矩的搜索引擎蜘蛛。插件的原理很有意思。robots.txt文件中了一个。一旦蜘蛛试图访问它,该插件将禁止蜘蛛访问网站中的其他页面。行为良好的蜘蛛自然不会访问,可以畅通无阻地抓取网站允许搜索引擎收录的页面。

这相当于了一个巧妙的陷阱。如果你遵守规则,我自然欢迎你。如果你不遵守规则,你就会踏入我设下的陷阱。哦,对不起,这里不欢迎你。更好的,普通用户看不到这个隐藏的链接,遵循robots协议的搜索引擎不受影响。

功能特性简单,代码干净。基于WordPress API的功能简单而具体,具有级、高性能和高灵活性。您可以轻松地重置阻止的蜘蛛列表。您可以通过设置页面设置来删除单个被阻止的蜘蛛插件,而无需在背景中静音。后台工作,不会影响正常用户的访问。通过whois查找被阻止的僵尸程序,以光学方式接收电子邮件c-alert所有主要搜索引擎都已被列入白名单。不会被屏蔽。自定义显示给被阻止的搜索引擎的消息。一键重置插件设置。如果你的网站不基于WordPress,那也没关系。只要你用的语言是PHP,就可以通过Blackhole的独立PHP版本实现同样的功能!

白名单默认情况下,该插件不会屏蔽以下任何主流搜索引擎。以下搜索引擎默认添加到插件的白名单中,插件也允许我们在设置中手动添加其他搜索引擎到白名单中。

AOL . combaidubingbot/MSNDuckDuckGoGooglebotTeomaYahoo!Yandex如果你的网站不是基于WordPress的,也可以使用PHP版本的插件。

:阻止不遵循robots协议的搜索引擎蜘蛛抓取网页——不良机器人的黑洞 ://vps.caogenba.com.com/89837.html

赞(0) 打赏
未经允许不得转载:草根吧VPS_最新VPS信息参考 » 阻止不遵循robots协议的搜索引擎蜘蛛抓取网页——不良机器人的黑洞
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址