修改配置nginx，限制无良爬虫频率

标签：linux   nginx   

#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中
 limit_req zone=anti_spider burst=30 nodelay;
 if ($http_user_agent ~* "xxspider|xxbot") {
 set $anti_spider $http_user_agent;
}

超过设置的限定频率，就会给spider一个503。
上述配置详细解释请自行google下，具体的spider/bot名称请自定义。

--------------------------------------分割线--------------------------------------

知数堂 （http://zhishuedu.com）培训是由资深MySQL专家叶金荣、吴炳锡联合推出的专业优质培训品牌，主要有MySQL DBA实战优化和Python运维开发课程，是业内最有良心、最有品质的培训课程。

本文出自 “老叶茶馆” 博客，请务必保留此出处http://imysql.blog.51cto.com/1540006/1879764

修改配置nginx，限制无良爬虫频率

标签：linux   nginx   

原文地址：http://imysql.blog.51cto.com/1540006/1879764