首页 网络技术
  1. 正文

网站蜘蛛很多,屏蔽不需要的蜘蛛节省资源

最近我一直在观察我的网站日志,发现了很多不常见的蜘蛛频繁抓取我的网站,大量垃圾蜘蛛甚至爬虫访问很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢?

网站蜘蛛很多,屏蔽不需要的蜘蛛节省资源

一般来说,屏蔽蜘蛛抓取有三种方法:

  • Robots屏蔽
  • UA屏蔽
  • IP屏蔽

但是我们一般都是通过Robots屏蔽这个方法,Robots 协议(也称为爬虫协议、机器人协议等)用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。

需要屏蔽的蜘蛛

  • AhrefsBot:通过抓取网页建立索引库,并提供反向链接分析和服务。
  • dotbot:在线营销分析软件。
  • MJ12bot:英国搜索引擎。
  • Deusu:个人的项目一个搜索引擎。
  • grapeshot:这家公司好像也是分析网站用的。

屏蔽方式

在robots.txt目录下添加下面的代码,添加之后在百度站长平台检测一下robots是否正确。

User-agent: AhrefsBot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DeuSu
Disallow: /
User-agent: grapeshot
Disallow: /

附各大常见蜘蛛名字
百度蜘蛛:Baiduspider

谷歌蜘蛛:Googlebot

必应蜘蛛:bingbot

搜狗蜘蛛:Sogou web spider

360蜘蛛:360Spider

本文标题:网站蜘蛛很多,屏蔽不需要的蜘蛛节省资源
本文链接:http://www.qqooo.cn/post/346.html
版权说明:网站文章均来源于手工整理和网友投稿,若有不妥之处请来信 feelym@88.com 处理,谢谢!