码迷,mamicode.com
首页 > 其他好文 > 详细

II7/IIS8屏蔽YisouSpider蜘蛛

时间:2014-12-12 16:28:17      阅读:236      评论:0      收藏:0      [点我收藏+]

标签:style   http   使用   sp   on   2014   bs   ad   html   

来源:http://www.0531s.com/content-46-1927014-1.html

YisouSpider蜘蛛抓取网页能够导致CPU暴涨,影响其他蜘蛛和用户的访问,多次实验后,发现IIS自带的URL重写可以起到作用。
首先选择需要进行屏蔽的网站,然后打开URL重写。
打开入站规则
bubuko.com,布布扣
打开添加规则,选择请求阻止
bubuko.com,布布扣
点击确定,在新弹出的界面,访问阻止依据中选择用户代理表头
bubuko.com,布布扣
在模式(用户代理标头)中输入:YisouSpider,点击确定,这样就可以组织YisouSpider对本站的请求,CPU使用率骤减。
bubuko.com,布布扣 

II7/IIS8屏蔽YisouSpider蜘蛛

标签:style   http   使用   sp   on   2014   bs   ad   html   

原文地址:http://www.cnblogs.com/xiangboren/p/4159884.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!