码迷,mamicode.com
首页 > 其他好文 > 详细

在nginx中将爬虫过来的请求转到指定的后端服务

时间:2019-09-02 12:01:46      阅读:83      评论:0      收藏:0      [点我收藏+]

标签:forward   进入   生成   map   默认值   ignore   user   dia   正则表达式   

一、前言

一般识别爬虫的方法是通过UserAgent,这种办法最直接,但也很容易伪造,先不管这个了。

二、配置方法

  • 实现在nginx中使用map指令来匹配一个变量:
  map $http_user_agent $is_bot {
      default 0;
      ~[a-z]bot[^a-z] 1;
      ~[sS]pider[^a-z] 1;
      'Yahoo! Slurp China' 1;
      'Mediapartners-Google' 1;
      'YisouSpider' 1;
  }

在这里我们生成了一个名为 $is_bot 的变量,该变量默认值是 0 ,如果匹配到上述 4 种正则表达式的情况后,值就变成1。你可以继续往 map 中添加新的表达式规则。

  • 在location中使用该变量:
location / {
    error_page 418 =200 @bots;
    if ($is_bot) {
        return 418;
    }
    proxy_pass http://91donkey_web;
    include proxy.conf;
    access_log /export/home/logs/91donkey/access.log main;
}
  • @bots的定义:
location @bots {
    proxy_pass http://91donkey_spider_web;
    include proxy.conf;
    access_log /export/home/logs/91donkey_spider/access.log main;
}

当判断当前请求是爬虫的时候,返回 418 错误码。
通过 error_page 将 418 错误码改为 200 (正常请求响应码),然后进入 @bots 这个 location 进行下一步处理。@bots 中将请求反向代理到你指定的后端应用。
如此便可将正常的用户访问和爬虫访问独立开来,使二者不会互相影响。

  • proxy.conf内容参考
    #proxy_redirect off;
    proxy_ignore_client_abort on;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $http_x_forwarded_for;
    client_max_body_size 50m;
    client_body_buffer_size 256k;
    proxy_connect_timeout 30;
    proxy_send_timeout 30;
    proxy_read_timeout 60;
    proxy_buffer_size 16k;
    proxy_buffers 4 32k;
    proxy_busy_buffers_size 64k;
    proxy_temp_file_write_size 64k;
    proxy_headers_hash_max_size 51200;
    proxy_headers_hash_bucket_size 6400;
    proxy_next_upstream http_502 http_504 error timeout invalid_header;

在nginx中将爬虫过来的请求转到指定的后端服务

标签:forward   进入   生成   map   默认值   ignore   user   dia   正则表达式   

原文地址:https://www.cnblogs.com/91donkey/p/11445380.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!