【摘要】 YisouSpider是什么蜘蛛爬虫? 国内最疯狂的蜘蛛(没有之一)能让你的网站挂掉,尤其是VPS、小内存虚拟机就别说了。 为什么要屏蔽YisouSpider蜘蛛爬虫? atdevin.com博主本人的一个……

YisouSpider是什么蜘蛛爬虫?

国内最疯狂的蜘蛛(没有之一)能让你的网站挂掉,尤其是VPS、小内存虚拟机就别说了。

为什么要屏蔽YisouSpider蜘蛛爬虫?

atdevin.com博主本人的一个网站使用的是阿里的云虚拟主机,最近今个月老是喜欢宕机几分钟到一两小时不等,宕机时都会内存飙升,网站本身流量很小,1个G的内存完全绰绰有余,排查原因,造成这种宕机的因素还比较多,比如阿里虚拟主机本身的逻辑原因、老域名总有傻逼来DDOS和CC、网站程序本身的安全性没做好等等,这些所有因素中,如果可以用百分比来表示,我估计YisouSpider这只蜘蛛对宕机的贡献程度在50%-70%。它的爬行频率不顾时间,晚上爬白天还爬,爬行频率和次数超过所有其他蜘蛛的总和。

为什么专门写这么一篇屏蔽YisouSpider的文章?

因为YisouSpider太流氓了!看几张截图吧

 

 

 

好了,下面是重点了

———————————–重点分割线:如何屏蔽国内最疯狂的蜘蛛爬虫yisouspider?——————————

限定Yisouspider访问权限的robots协议写法(已经尝试,无用)

robots.txt 必须放在网站根目录下,且文件名要小写。

具体写法:

1) 完全禁止 yisouspider 抓取:

2) 禁止 yisouspider 抓取指定目录

禁止抓取 update、history 目录下网页

 

Nginx屏蔽爬虫yisouspider访问站点方法(没有尝试过,我是apache的)

进入到 nginx 安装目录下的 conf 目录,将如下代码保存为 agent_deny.conf

 

然后,在网站相关配置中的

下方插入如下代码:

保存后,执行如下命令,平滑重启 nginx 即可:


 

 

Apache屏蔽爬虫yisouspider访问站点方法(网上的方法,试用过,会造成访问不正常,可能是我使用方法不对)

1、通过修改 .htaccess 文件

修改网站目录下的.htaccess,添加如下代码即可(2 种代码任选):

可用代码 (1):

可用代码 (2):


 

2、通过修改 httpd.conf 配置文件

找到如下类似位置,根据以下代码 新增 / 修改,然后重启 Apache 即可:

 

直接屏蔽封锁yisouspider的IP吧,但是它的IP有点多哦!!

Apache屏蔽蜘蛛IP的方法(nginx我不知道….)

修改htacess文件如下

 

yisouspider蜘蛛爬虫的IP清单(1086个IP)

以下YisouSpider的IP是我通过网站日志统计的,并不是全部的YisouSpider的IP,后续会更新这个IP清单。

总共1086个IP!!!!!!!   全部是阿里云的IP,YisouSpider全部使用的是阿里云的服务器….

 

 

转载请注明:Devin >> 如何屏蔽国内最疯狂的蜘蛛爬虫yisouspider(含蜘蛛IP清单)?

我来说说

发表评论您必须先登录

健康、快乐、独立

子曰:

  • 吾,十有五,而志于学
  • 三十而立
  • 四十而不惑
  • 五十而知天命
  • 六十而耳顺
  • 七十而从心所欲不逾矩

In 2019

人生如棋,观棋不语,落子无悔

  • 1. 英语;
  • 2. 融会贯通软硬件产品和商业价值;
  • 3. 摄影;
  • 4. 历史纪元表;
  • 5. 父母老婆孩子,健康快乐;
  • 6. 挣钱。

精彩爽文,窗边小说,关注送礼

In 2018

虚长三十而立Flag

  • 1. 生娃,并为他拿起狗头单反,背诵历史纪元表;
  • 2. 认证PMP;
  • 3. 和老外讨论工作无需翻译;
  • 4. 参与一项硬件研发项目的产品设计;
  • 5. 带老婆玩,带父母玩。

In 2017

墨刀

二十岁时打架,兄弟多,那是面子,敢惹事那叫魄力!现在打架了,悄悄的,真怕身边的朋友笑话!

从前,天天喝大酒,唱歌,通宵KTV,那叫会玩。现在低调做人,约上三五知己喝喝茶,到公园跑两圈,多陪陪家人,那叫靠谱!

不管你混的多牛逼,多有钱,做和你年龄匹配的事,这叫责任! 也叫成熟!

10年前发个脾气,牛都拉不回来。10年后生个气,转眼就觉得没必要。时间渐渐磨去了年少轻狂,也渐渐沉淀了冷暖自知。

10年前,连多愁善感都要吹得惊天动地 ,10年后,越痛越不动声色;越苦,越保持沉默 。

10年前,我们本着糊涂装明白。10年后,我们本着明白装糊涂。成长就是将你的一切都变成心静如水。

In 2016

放下,守心,承担
独立自主
敢想敢做,而能不计旁人眼光
说走就走,而能不再瞻前顾后

In 2015

愿这一年,

不再蹉跎、不作妄谈,
可以抱有千种期许,但至少播种一个开端;

不必发狠、不求看穿,
懂得各有山高水长,不必苦求同路与照看;

依然敢爱、敢离开,
从错误里汲取、在行走中放下,
平常应对平淡,平心看待平凡;

生活若能精彩更好,
但更重要的自己开心,家人幸福。

About Devin

昵称:Devin
性别:男性
邮箱:atDevin#qq.com

本人的长相


简历:

2015-2017 长虹智慧健康 .产品经理岗
2012-2015 苏宁易购 .广告媒介岗
2008-2012 中国矿大 .电子商务

简介:


男、爱生活、爱世界

许可


本博客采用“知识共享署名-非商业性使用-禁止演绎 3.0 Unported许可协议”进行许可。基于“www.atdevin.com”上的作品创作。本博未注明转载的作品皆为本博原创。

知识共享@中国大陆知识共享署名-非商业性使用-禁止演绎