第一部分:
Nginx介绍及原理简单分析
快速入门 ------------------------
关于Nginx,我们可以到其官网 http://nginx.org/ 以及WIKI http://wiki.nginx.org 进行下载和了解。
我们可以看一下下面的英文介绍:
Nginx (pronounced engine-x) is a free, open-source, high-performance HTTP server and reverse proxy, as well as an IMAP/POP3 proxy server. Igor Sysoev started development of Nginx in 2002, with the first public release in 2004. Nginx now hosts nearly12.18% (22.2M) of active sites across all domains. Nginx is known for its high performance, stability, rich feature set, simple configuration, and low resource consumption.
从上面的,我们大概可以知道如下信息:
第一,Nginx是一个开源,免费的高性能HTTP服务器和HTTP/MAIL反向代理服务器。
第二,自2004以来,Nginx的使用占比逐渐上升,目前大概占有WEB SERVER市场的12%。 【我们可以通过http://www.netcraft.com/来看一下目前主流的WEB SERVER的使用趋势。】
第三,Nginx具有高性能,稳定性,丰富的特性,简单的配置,低资源占用等特点。
什么是正向代理/代理服务器 and 反向代理/反向代理服务器?
正向代理示意图:
反向代理示意图:
通俗点说,正向代理中的代理服务器好比“管家”,由这个“管家”帮你做事情,而反向代理中的反向代理服务器好比“秘书”,要想见领导必须通过“秘书”。 在正向代理中,客户机需要明确的知道“管家”的一些信息,如IP,PORT等;但是在反向代理中,客户请求的是“领导”,他并不知道在这过程中“秘书”发挥了作用。
Nginx的工作模式及原理简单分析
同Apache http server的Perfork工作模型类似,Nginx也有master,worker进程的概念。
第一,很显然,启动Nginx,就必须在端口启动监听服务,也就是套接字(ip+port),通常Nginx作为WEB SERVER和反向代理服务器都会在80端口监听。在LINUX上,要开启<1024端口的监听服务,必须用特权身份运行,也就是说master进程应该以root身份启动。
第二,那么master进程主要的职责是什么?
读取并验证配置信息 创建,绑定,关闭套接字 启动,终止,维护worker进程的个数
master负责管理worker进程,这一点好理解,需要注意的是master在处理配置信息这一块。
假设nginx已经启动,我们更改配置文件后reload,如果这个配置文件语法有误,nginx会怎么做? 如果这个配置文件OK,nginx又会怎么做?
如果配置文件有误,reload后,master会提示配置错误,并不会影响请求的处理。 如果配置文件OK,reload后,什么时候生效呢?
Nginx支持热部署!!!
如果主配置文件发生改变,那么并不会立刻影响到WORKER进程,而是MASTER等到WORKER进程的连接请求处理完毕后KILL掉这个WORKER进程,然后重新生成一个WORKER进程,这样这个WORKER进程就将以新的配置启动了。也就是说,老的连接用老的配置,新的连接用新的配置。重新加载配置文件不会中断正在处理的请求。
第三,worker进程是干嘛的?我们应该有多少个Worker进程?每一个Worker进程中有多少个线程?
在Nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环机制进行处理,而每个worker可以并行处理数千个的并发连接和请求。
Worker进程的个数,这个是可以配置的,但是一般而言,个数应该和CPU个数一致性,主要是为了CPU的进程切换。
what can worker process do ? 接受,传入并处理来自客户端的连接; 提供反向代理等功能;
第四,worker进程如何处理请求的?
当一个请求来了,那么多个worker进程,谁去处理,还是几个一起处理?如何处理?
首先,要清楚的是,一个请求可以由一个worker进程处理并只能由这个worker进程完全处理。 Nginx在内部其实是维护了一个accept_mutex,其实就是一个锁,确保在某一时刻,一个请求只能被 一个worker进程捕获。当一个worker进程在accept这个连接之后,就开始读取请求,解析请求,处理请求,产生数据后,再返回给客户端,最后才断开连接,这样一个完整的请求就是这样的了。
Nginx采用了异步非阻塞事件驱动的方式来处理请求的,只要我们设置好WORKER进程个数与CPU的亲缘性绑定,那么就能减少CPU在进程间切换所花费的时间以及切换带来的进程的保存/恢复现场,同时,由于Nginx中一个worker里面只有一个线程,也避免了线程的上下文切换。
第五,异步/非阻塞/事件驱动???
我们知道,很多请求来了,他们大多需要读写数据,发生IO请求,此时程序就会发生中断,如果此时我们一直等待IO调用结束,才继续工作,那么这种就是阻塞的,那么很显然很多请求来了,都处于等待状态,CPU就将处于空闲状态,为了提供高并发的能力,Nginx采用的是非阻塞的方式。如果发生IO中断,那么你去做你的事情,但是过一段时间来看看IO调用是否结束,这就是非阻塞:你可以做更多的事情,但是你得时不时的检查中断状态,带来的开销也不小。
为了更高效,Nginx利用了LINUX的EPOLL模型(其他系统类似): EPOLL模型,提供一种事件驱动机制,它可以监控多个事件是否准备好了,如果准备好了,那么就放入EPOLL队列中。这种机制是异步的。通过这样,WORKER进程只需要循环处理EPOLL队列中的请求,我们只需要在请求间不断切换,而这种切换是不需要付出什么代价的,通过这种循环处理已经准备好的请求,从而Nginx可以高效的处理高并发的问题。
好了,到这里,我们应该对Nginx的原理有些认识了,下面通过Nginx提供的一些具体功能来加深认识。
|
第二部分:
Nginx作为Web Server详解
安装与初步使用 ------------------------
我们可以直接到NGINX的官网下载最新的稳定版,比如1.6.2。 Nginx非常轻量级,编译安装的过程非常快。
可以发现,在编译中,我们指定了nginx的owner,group为我们新建的系统用户和组。
需要指定一些临时目录路径,并确保在启动NGINX时,这些临时目录是存在,否则可能启动出错。
由于Nginx是基于模块化的方式设计的,所以我们需要清楚哪些模块是默认编译安装的?
./configure --help的方式,可以获得这些信息,如果是with-somemodule,说明这个module默认是不编译的,要想使用,必须显式的使用with;如果是without-somemodule,说明这个module默认是编译的,不想编译的话,必须显式的使用without。
在安装过程中,很可能遇到缺少一些软件包,直接利用YUM的方式安装即可。
启动Nginx
根据编译时指定的可执行命令路径,
即可启动Nginx
查看监听端口:
我们也可以通过浏览器或者直接curl的方式访问Nginx为我们提供的首页。
我们的主战场:nginx.conf
配置文件分析 ------------------------
worker_processes表示启动WORKER进程的个数,而worker_connections表示每个WORKER进程最多可以处理的连接。那么,我们最多支持的连接数 为 worker_processes * worker_connections。上面的,都是全局的配置。
下面,我们重点分析的是http段的server配置。
指令以分号结束。 每一个server用来定义一个虚拟主机,Nginx必须采用这样的方式来进行配置。 可见Nginx支持基于ServerName和Port的虚拟主机。 我们需要重点理解和注意的是location中的uri配置:
location [ = | ~ | ~* | ^~ ] uri { ... }
说明location在支持uri方面,有如下形式:
location uri {} 对这个uri下面的所有路径(包括子路径)都有效 匹配范围很大
location = uri {} 只对当前路径生效,注意如果此uri是一个目录,那么并不会对这个目录下的有效,仅仅当这个uri是文件的时候才有效。 精确匹配到具体的文件路径,对目录无效
location ~ uri {} 模式匹配,就是正则 区分大小写 uri此时就是一个正则表达式
location ~* uri {} 同上,也是模式匹配,不区分大小写
location ^~ uri {} 不使用正则表达式
那么一个请求URL来了,匹配优先级是?
优先级从高到低 = ^~ ~和~* 不使用其他任何符号的
举个例子: http://servername:port/bbs/....
那么会首先寻找location = /bbs 的进行匹配,然后看不使用模式匹配的location ^~ uri能否匹配,如不匹配,继续看使用模式匹配的能否匹配location ~ uri / location ~* uri,如果模式匹配也不成功,那么看location uri是否包含这个路径,如果最后不包含这个路径,那么就是404页面了。
看下面的一个实例配置:
在/web目录下有bbs,sports目录
也就是说,root/uri的方式共同定位到文件资源的路径。
访问控制法则 基于IP地址的(deny/allow形式,注意默认情况下是allow all的) 基于用户/密码的(auth_basic 采用htpasswd生成用户密码文件即可)
在location中可以 autoindex on 来列出文件
在SERVER段中,可以通过定义如下location来在网页上显示NGINX的状态信息
说明: Active connections表示活动的连接数。 accepts/handled表示已经接受/处理的连接数 requests表示已经处理的请求。 【注意,在一个连接中,可以处理多个请求】 reading表示nginx reads request header writing表示nginx reads request body ,process request or writes response to a client waiting表示keep-alive connections,actually it is active (reading + writing)
/usr/sbin/nginx #启动Nginx /usr/sbin/nginx -t #检查nginx.conf配置文件是否有误 /usr/sbin/nginx -s reload #重新载入配置文件 /usr/sbin/nginx -s stop #停止nginx
到这里,Nginx的基本使用以及作为web server配置方面,就差不多了。
|
第三部分:
关于反向代理
做一个实验来说明反向代理:
request -> nginx -> apache http://www.zfz1.com:80/bbs请求到达nginx,被反向代理到Apache上,通过虚拟主机的方式进行响应http://www.zfz1.com:8080/bbs
直接上配置:
nginx.conf:
apache虚拟主机配置:
/etc/hosts配置:
/web/bbs/index.html:
验证:
从配置上,其实反向代理就是在location中用proxy_pass取代了root而已。
关于access_log的说明:
由于,我们使用了反向代理,Apache接收到的请求都是来自nginx的,那么access_log中记录的IP等信息其实都是nginx的信息,这样显然不是我们想要的,我们希望日志中记录的是真实的客户端信息,这样以后有利于我们进行日志分析。
其实,请求会在nginx这一端进行封装,我们可以自定义一些http header,比如:
$XXX为Nginx内置的HTTP变量,比如:$remote_addr
这些内置的变量,我们可以通官方文档来查阅:http://nginx.org/en/docs/http/ngx_http_core_module.html#variables
利用proxy_set_header进行HTTP HEADER设置,那么我们就可以在APACHE的LOGFORMAT中进行引用YOUR_HEADER_NAME了。这样日志中记录的就是我们想要的信息。
|
第四部分:
关于负载均衡
我们可以把后端的多个apache归并成一个组,还可以定义负载均衡法则。对于nginx而言,这些后端的APP SERVER,称为上游服务器,即upstream。
在upstream中,我们可以定义多个server,每一个server的定义不要加上协议,要么是IP+PORT,要么是SERVERNAME+PORT,利用weight的方式定义加权轮调。Nginx可以对上游服务器进行健康状态检查,如果上游服务器DOWN了,那么Nginx不在将请求连接给他,如果上游服务器又活了,那么让他处理连接请求。max_fails和fail_timeout可以定义健康状态检查。如果所有的上游服务器都挂了怎么办呢?server 127.0.0.1 backup就会起作用了。
有些时候,我们必须将来自同一个客户端的请求定向到同一台后端服务器【保持SESSION会话】,ip_hash指令就是用来干这个的,根据客户端请求的源地址做HASH运算,只要HASH运算结果相同,那么就会一直分发到相同的上游服务器。
事实上,nginx支持三种负载均衡算法: 第一,加权轮调 round_robin 第二,IPHASH 第三,最少连接【挑一个连接数最少的上游服务器进行处理】least_conn
|
第五部分:
关于缓存
Nginx之所有有效的减轻了上游服务器的压力,是因为nginx的缓存机制。 nginx的缓存大概可以分为: 共享内存:存储键和缓存对象元数据。也就是说查找缓存,是在内存中完成的。 磁盘空间:存储数据。缓存数据最终也是在磁盘上的。
在http段中进行配置: proxy_cache_path /nginx/cache levles=1:2:1 keys_zone=first:20m max_size=1g
表示缓存目录位于/nginx/cache下,1:2:1表示会建立三级目录,第一级目录名称为1个字符,第二季目录名称为2个字符,第三级目录名称为1个字符。keys_zone=a:b用来说明缓存在共享内存中的配置,a即代表名称,如果谁要使用缓存,就必须引用这个名称,b即代表内存大小。max_size用来定义磁盘缓存空间的最大大小。
在location段中明确开启缓存功能: proxy_cache first;
|
第六部分:
关于URL重写
Nginx中支持rewrite模块,并支持正则表达式,来进行URL的rewrite。
这里就不在介绍了,具体的使用方法,可以参考nginx的官方文档即可。
|
第七部分:
结束语
由于在项目中用到了一点nginx方面的东西,学习了下,写出来和大家分享,如果理解上有错误,欢迎大家留言指正~ |