Nginx优化防爬虫 限制http请求方法 CDN网页加速 架构优化 监牢模式 控制并发量以及客户端请求速率

##Block download agents##
if ($http_user_agent ~* LWP:Simple | BBBike | wget) 
{
    return 403;
}
#说明：如果用户匹配了if后面的客户端（例如wget），就返回403.

#这些爬虫代理使用“|”分隔，具体要处理的爬虫可以根据需求增加或减少，添加的内容如下：
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot-Modile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Yahoo! SSlurp  China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot")
{
    return 403;
}

if ($http_user_agent ~* "Firefox|MSIE")
{
    rewrite ^(.*) http://www.wk.com/$1 permanent;
}
#如果浏览器为Firefox或IE，就会跳转到http://www.wk.com

#Only allow these request methods
if ($request_method ! ~ ^(GET|HEAD|POST)$)
{
    return 501;
}

#Only deny GET request methods ##
if ($request_method ~* ^(GET)$)
{
    return 501;
}
#提示：还可以加一层location，更具体地限制文件名

;A records
img.yunjisuanl.com IN A 124.106.0.21 (企业服务器的IP)
#删除上面的记录，命令如下：
img.yunjisuanl.com IN A 124.106.0.21 (服务器的IP)
#然后，做下面的别名解析：
；CNAME records
img.yunjisuan.com IN CNAME bbs
img.yunjisuan.com 3M IN CNAME img.yunjisuan.com.cachecn.com.

useradd wk
su - wk
mkdir conf logs www         #在普通用户家目录下创建nginx配置文件目录
cp /usr/local/nginx/conf/mime.types ~/conf/
echo "hehe" > www/index.html

worker_processes    4;
worker_cpu_affinity 0001 0010 0100 1000;
worker_rlimit_nofile 65535;
error_log    /home/wk/logs/error.log;
user wk wk;
pid    /home/wk/logs/nginx.pid;
events {
    use    epoll;
    worker_connections    10240;
}
http {
    include     mime.types;
    default_type    application/octet-stream;
    sendfile    on;
    keepalive_timeout    65;
    log_format main ‘$remote_addr-$remote_user[$time_local]"$request"‘
    ‘$status $body_bytes_sent "$http_referer"‘
    ‘"$http_user_agent""$http_x_forwarded_for"‘;
    server {
        listen 8080;
        server_name www.wk.com;
        root    /home/wk/www;
        location / {
            index   index.php index.html index.htm;
        }
        access_log  /home/wk/logs/web_blog_access.log main;
    }
}
tree
├── conf
│   ├── mime.types
│   └── nginx.conf
├── logs
└── www
    └── index.html

ps -ef | grep nginx | grep -v grep

语法：limit_conn_zone key zone=name:size;
上下文：http
#用于设置共享内存区域，key可以是字符串，Nginx自带变量或前两个组合，如$binary_remote_addr,$server_name.name为内存区域的名称，size为内存区域的大小。

语法：limit_conn zone number;
上下文：http,server,location
#用于指定key设置最大连接数。当超过最大连接数时，服务器会返回503（Service Temporarily Unavailable）错误

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    limit_conn_zone $binary_remote_addr zone=addr:10m;  　　#limit_conn_zone参数
    server {
        listen       80;
        server_name  www.yunjisuan.com;
        location / {
            root   html;
            index  index.html index.htm;
            limit_conn addr 1;      #限制同IP的并发为1；
        }
    }

location /download/ {
    limit_conn addr 11;
}
上面的命令限制访问download下载目录的连接数，该连接数1.

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    limit_conn_zone $binary_remote_addr zone=addr:10m;　　　　　　#设置参数下边才会生效
    limit_conn_zone $server_name zone=perserver:10m;　　　　　　　　#设置参数下边才会生效
    server {
        listen       80;
        server_name  www.yunjisuan.com;
        location / {
            root   html;
            index  index.html index.htm;
        #limit_conn addr 1;
        limit_conn perserver 2;     #设置虚拟主机连接数为2
        }
    }

语法：limit\_req\_zone key zone=name: size rate=rate;
上下文1：http
#用于设置共享内存区域，key可以是1字符串，Nginx自带变量或前两个组合，如$binary_remote_addr。name为内存区域的名称，size为内存区域的大小，rate为速率，单位为r/s，每秒一个请求。
limit_req参数说明如下：
语法：limit_req zone=name [burst=number][nodelay];
上下文：http,server,location

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;    #以请求的客户端IP作为key值，内存区域命令为one，分配10m内存空间，访问速率限制为1秒1次请求（request）
#    limit_conn_zone $binary_remote_addr zone=addr:10m;
#    limit_conn_zone $server_name zone=perserver:10m;
    server {
        listen       80;
        server_name  www.yunjisuan.com;
        location / {
            root   html;
            index  index.html index.htm;
            limit_req zone=one burst=5;     #使用前面定义的名为one的内存空间，队列值为5，即可以有5个请求排队等待
#           limit_conn addr 1;
#           limit_conn addr 1;
        }
    }