Web Service
传输层:提供进程地址
Portnumber:
tcp:传输控制协议,面向连接的协议;通信前需要建立虚拟链路;结束后拆除链路;
0-65535
udp:User DatagramProtocol,无连接的协议;
0-65535
IANA:
0-1023:众所周知,永久的分配给固定的应用使用,特权端口,22/tcp(ssh), 80/tcp(http), 443/tcp(https)
1024-41951:亦为注册端口,但要求并不是特别严格,分配给程序注册为某应用使用,11211/tcp, 11211/udp (memcached),3306/tcp(mysql)
41952+:客户端程序随机使用的端口;动态端口,或私有端口;其范围的定义:/proc/sys/net/ipv4/ip_local_port_range
Socket: IPC的一种实现,允许位于不同主机(甚至同一主机)上不同进程之间进行通信;数据交换;Socket API, 1983年,4.2 BSD
SOCK_STREAM:tcp套接字
SOCK_DGRAM:udp套接字
SOCK_RAW: 裸套接字
IPv4:
分类:
A:1-127
B:128-191
C:192-223
D:组播,224-239
E:240-254
私有地址:
A:10.0.0.0/8
B:172.16.0.0/16-172.31.0.0/16
C:192.168.0.0/24-192.168.255.0/24
TCP协议的特性:
建立连接:三次握手
将数据打包成段:校验和(CRC-32)
确认、重传以及超时:
排序:逻辑序号
流量控制:滑动窗口算法
拥塞控制:慢启动和拥塞避免算法
Socket Domain(根据其所使用的地址):
AF_INET:AddressFamily,IPv4
AF_INET6:IPv6
AF_UNIX:同一主机上不同进程之间通信时使用;
每类套接字都至少提供了两种socket:流,数据报
流:可靠地传递、面向连接、无边界;
数据报:不可靠地传递、有边界、无连接;
套接字相关的系统调用:
socket(): 创建一个套接字;
bind():绑定
listen():监听
accept():接收请求
connect():请求连接建立
write():发送
read():接收
send(),recv(), sendto(), recvfrom()
MIME:Multipurpose Internet Mail Extesion
工作机制:
http请求
http响应
Web资源:web resource
静态文件:.jpg, .gif, .html, .txt, .js, .css, .mp3, .avi
动态文件:.php, .jsp,
媒体:
媒体类型(MIME类型):major/minor
text/html
text/plain
image/jpeg
image/gif
URI:Uniform Resource Identifier
URL: Uniform Resorce Locator,用于描述某服务器某特定资源的位置;
Scheme://Server:Port/path/to/resource
URN:Uniform Resource Naming
http协议版本:
HTTP/0.9:原型版本,功能简陋
HTTP/1.0:第一个广泛使用的版本,支持MIME
HTTP/1.1: 增强了缓存功能
spdy
HTTP/2.0:
一次完整的http请求处理过程:
(1) 建立或处理连接:接收请求或拒绝请求
(2) 接收请求:
接收来自于网络的请求报文中对某资源的一次请求的过程;
并发访问响应模型(Web I/O):
单进程I/O结构:启动一个进程处理用户请求,而且一次只处理一个;多个请求被串行响应;
多进程I/O结构:并行启动多个进程,每个进程响应一个请求;
复用I/O结构:一个进程响应N个请求;
多线程模型:一个进程生成N个线程,每个线程响应一个用户请求;
事件驱动机制:event-driven 一个进程可以与多个进程通信
复用的多进程I/O结构:启动多个(m)进程,每个进程响应n个请求;即并行响应
(3) 处理请求:对请求报文进行解析,并获取请求的资源及请求方法等相关信息
(4) 访问资源:获取请求报文中请求的资源
web服务器,即存放了web资源的服务器,负责向请求者提供对方请求的静态资源,或动态运行后生成的资源;这些资源放置于本地文件系统某路径下,此路径通常称为DocRoot
web服务器资源路径映射方式:
(a)docroot
(b)alias
(c) 虚拟主机docroot
(d) 用户家目录docroot
(5) 构建响应报文
资源的MIME类型:
显式分类
魔法分类
协商分类
URL重定向:
web服务构建的响应并非客户端请求的资源,而是资源另外一个访问路径;
(6) 发送响应报文
(7) 记录日志
http服务器程序:
httpd (apache)、nginx 、lighttpd
应用程序服务器:
IIS
tomcat,jetty, jboss, resin
webshpere,weblogic, oc4j
http协议:
http协议版本:
http/0.9,http/1.0, http/1.1, http/2.0
协议查看或分析的工具:
tcpdump,tshark, wireshark
报文语法格式:
request请求报文[Client发给Server]
<method><request-URL> <version>
<headers>
…
<entity-body>
response响应报文[Server发给Client]
<version><status> <reason-phrase>
<headers>
<entity-body>
method: 请求方法,标明客户端希望服务器对资源执行的动作
method(方法):
GET | 从服务器获取一个资源; |
HEAD | 只从服务器获取文档的响应首部; |
POST | 向服务器发送要处理的数据; |
PUT | 将请求的主体部分存储在服务器上; |
DELETE | 请求删除服务器上指定的文档; |
TRACE | 追踪请求到达服务器中间经过的代理服务器; |
OPTIONS | 请求服务器返回对指定资源支持使用的请求方法; |
version:
HTTP/版本号
status:
三位数字,如200,301, 302, 404, 502; 标记请求处理过程中发生的情况;
status(状态码):
1xx:100-101, 信息提示;
2xx:200-206, 成功
3xx:300-305, 重定向
4xx:400-415, 错误类信息,客户端错误
5xx:500-505, 错误类信息,服务器端错误
常用的状态码:
200 | 成功,请求的所有数据通过响应报文的entity-body部分发送;OK |
301 | 请求的URL指向的资源已经被删除;但在响应报文中通过首部Location指明了资源现在所处的新位置;Moved Permanently |
302 | 与301相似,但在响应报文中通过Location指明资源现在所处临时新位置; Found |
304 | 客户端发出了条件式请求询问[Server本地缓存和Server内容是否不一致],但服务器上的资源未曾发生改变,则通过响应此响应状态码通知客户端;Not Modified |
401 | 需要输入账号和密码认证方能访问资源;Unauthorized |
403 | 请求被禁止;Forbidden |
404 | 服务器无法找到客户端请求的资源;Not Found |
500 | 服务器内部错误;Internal Server Error |
502 | 代理服务器从后端服务器[即代理服务器,保存真正Server的缓存,若无缓存则去找上级服务器…]收到了一条伪响应;Bad Gateway |
reason-phrase:
对状态码的简要描述;
headers:
每个请求或响应报文可包含任意个首部;每个首部都有首部名称,后面跟一个冒号,而后跟上一个可选空格,接着是一个值;
headers格式:
例:
GET /test/hello.html HTTP/1.1 | 发送GET请求,请求资源/test/hello.html 协议版本HTTP/1.1 |
Accept: */* | 客户端可以接收任何数据 |
Rerferer: http://localhost:80/test/abc.html | 请求来自哪里,即从哪个页面跳转过来的 |
Accept-Language: zh-cn | 页面支持什么语言 |
User-Agent: Moziala/4.0 | 告诉服务器客户端的浏览器内核/版本 |
Accept-Encoding: gzip,defate | 表示接收什么样的数据压缩格式 |
Host: localhost:80 | 主机 |
Connection: Keep-Alive | 表示长连接,即不立即断开 |
首部的分类:
通用首部、请求首部、响应首部、实体首部、扩展首部
通用首部:[请求和响应都可以使用]
Date: 报文的创建时间
Connection:连接状态,如keep-alive,close
Via:显示报文经过的中间节点,即经过几个代理
Cache-Control:控制缓存的生效方法 [ 例:cache-control: max-age=100 缓存在100s后失效 ]
请求首部:[专用于请求]
Accept:通过服务器自己可接受的媒体类型;
Accept-Charset: 接受的字符编码格式 UTF-8
Accept-Encoding:接受的压缩编码格式,如gzip
Accept-Language:接受的语言格式 zh-cn
Client-IP: 客户端IP
Host: 请求的服务器名称和端口号
Referer:包含当前正在请求的资源的上一级资源[ 即从哪个页面跳转过来的 ]
User-Agent:客户端代理[ 客户端浏览器的内核/版本 ]
条件式请求首部:
Expect:用于指出客户端要求的特殊服务器行为。
If-Modified-Since:自从指定的时间之后,请求的资源是否发生过修改;
If-Unmodified-Since:自从指定的时间之后,请求的资源是否没发生过修改;
If-None-Match:本地缓存中存储的文档的ETag标签是否与服务器文档的Etag不匹配;
If-Match:本地缓存中存储的文档的ETag标签是否与服务器文档的Etag匹配;
安全请求首部:
Authorization:向服务器发送认证信息,如账号和密码;
Cookie: 客户端向服务器发送cookie
代理请求首部:
Proxy-Authorization: 向代理服务器认证
响应首部:[专用于响应]
信息性:
Age:响应持续时长
Server:服务器程序软件名称和版本
协商首部:某资源有多种表示方法时使用
Accept-Ranges:服务器可接受的请求范围类型
Vary:服务器查看的其它首部列表;
安全响应首部:
Set-Cookie:向客户端设置cookie;
WWW-Authenticate:来自服务器的对客户端的质询认证表单
实体首部:[专用于描述entity-body即附加数据]
Allow: 列出对此实体可使用的请求方法[GET POST…]
Location:告诉客户端真正的实体位于何处[重定向时使用]
Content-Encoding:内容压缩编码格式
Content-Language:内容语言
Content-Length: 主体的长度
Content-Location: 实体真正所处位置;
Content-Type:主体的对象类型[text/html …]
缓存相关:
ETag:实体的扩展标签;
Expires:实体的过期时间;
Last-Modified:最后一次修改的时间
entity-body:实体主体;请求时附加的数据或响应时附加的数据;
httpd程序环境:
rpm包安装的httpd的默认工作目录(根目录):/etc/httpd
配置文件:
主配置文件:/etc/httpd/conf/httpd.conf
分段配置文件:/etc/httpd/conf.d/*.conf
服务脚本:
/etc/rc.d/init.d/httpd
脚本的配置文件:/etc/sysconfig/httpd
模块文件目录:
/etc/httpd/modules -->/usr/lib64/httpd/modules
主程序文件:
/usr/sbin/httpd (prefork)
/usr/sbin/httpd.worker (worker)
/usr/sbin/httpd.event (event)
日志文件目录:
/var/log/httpd
access_log: 访问日志文件
error_log:错误日志[ httpd服务启动和关闭的信息也在这里 ]
站点文档目录:
/var/www/html
/etc/httpd/conf/httpd.conf配置文件:
由三部分组成
### Section 1:Global Environment [全局有效配置]
### Section 2: ‘Main‘ serverconfiguration [Main server有效配置]
### Section 3: Virtual Hosts [虚拟主机有效配置]
‘Main‘server和Virtual Hosts不能同时启用;默认启用的是‘Main‘server [即全局的DocumentRoot 指令];
1、指定监听地址和端口
Listen [IP:]80
(1) IP省略时表示监听本机上所有可用的IP地址;
(2) Listen指令可以出现多次,用于指明多个不同的监听端口或套接字:
Listen172.16.100.11:80
Listen172.16.100.11:8080
2、持久连接相关
KeepAlive Off|On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
持久连接:一次TCP三次握手连接建立后,每个资源获取结束不会立即四次断开连接,而继续等待其它资源请求并完成传输;
断开要求:
数量限制:如100个
时间限制:如15秒
劣势:对并发访问量较大的服务器,开持久连接会有些请求得不到服务;
改进:减短时间,httpd-2.4支持毫秒级
非持久连接:每个资源都是单独通过专用的连接进行获取
测试:
#telnet Server 80
GET/URL HTTP/1.1
Host:Server
3、MPM
多路处理模块:并发请求响应的不同实现
prefork,worker, event
MPM:MultipathProcessing Modules 多路处理模块机制
prefork:多进程模型,每个进程响应一个请求;
启动一个主进程,用来监听套接字和负责生成子进程 [ 子进程也称为工作进程 ],每个子进程处理一个用户请求;即便没有用户请求,也会预先生成多个空闲进程,随时等待请求到达;最大不会超过1024个;
即一个请求到来时,主进程不会响应这个请求,而是让一个预先生成的子进程去处理,主进程再去监听套接字;
worker:多线程模型,每个线程响应一个请求;
启动一个主进程用来生成多个子进程,每个子进程负责生个多个线程,每个线程响应一个请求;
例:若有m子进程,n个线程,可以同时处理m*n请求
即一个请求到来时,主进程不会响应这个请求,而是让一个预先创建的空闲子进程去找一个预先生成的线程去处理;且预先生成的空闲进程和线程数量是有上下限的
event:事件驱动模型,每个线程响应多个请求;
一个主进程:生成多个子进程,每个子进程直接响应多个请求;
httpd-2.2: event为测试使用
httpd-2.4: event可生产使用
httpd-2.2 不支持同时编译多个不同的MPM,rpm安装的httpd-2.2提供了三个文件分别用于实现提供对不同的MPM的支持;确认方法:
# ps aux | grep httpd
默认为/usr/sbin/httpd,其为prefork;
查看模块列表:
httpd -l: 查看静态编译的模块
httpd -M: 查看所有模块,包括静态编译和DSO模块[动态装卸载模块]
httpd-worker -M|-l
httpd-event -M|-l
更换支持不同的MPM的主程序:
编辑/etc/sysconfig/httpd
启用变量:HTTPD [取消注释即可]
修改其配置属性在/etc/httpd/conf/http.conf
注意:MaxRequsetPerChild不是越大越好,而是根据实际情况,内存较大的服务器设大些,内存较小设小些;即设定一个独立的子进程能处理的请求数,到达这个数量时,子进程会被父进程终止,这时就会释放占用的内存。所以越大时占用内存越大。
# worker MPM
#StartServers: initial number of server processes to start
#MaxClients: maximum number of simultaneous client connections
#MinSpareThreads: minimum number of worker threads which are kept spare
#MaxSpareThreads: maximum number of worker threads which are kept spare
#ThreadsPerChild: constant number of worker threads in each server process
#MaxRequestsPerChild: maximum number of requests a server process serves
<IfModule worker.c>
StartServers 4 [服务器启动时启动多少子进程]
MaxClients 300 [最多允许多少个并发连接,不超过1024]
MinSpareThreads 25 [最少总空闲线程]
MaxSpareThreads 75 [最多总空闲线程]
ThreadsPerChild 25 [每一个子进程可以生成多少个线程]
MaxRequestsPerChild 0 [不限制]
</IfModule>
4、配置指令模块加载:
LoadModule<module_name> <module_path>
模块路径:可使用相对路径;相对于ServerRoot[/etc/httpd]指令指向的位置而言;
注意:建议使用service httpd reload重新装载配置文件
5、定义‘Main‘server的文档页面路径
DocumentRoot指令 指定网站页面位置[路径要事先存在]
6、站点路径访问控制
访问控制机制:
基于来源地址
基于账号
定义的方式有两种:
文件系统路径:
<Directory"/PATH/TO/SOMEDIR">
...
</Directory>
URL路径:
<Location"/URL">
...
</Location>
7、Directory中的访问控制定义
(1) Options
Indexes: 当访问的路径下无默认主页面文件存在,且没有指定具体要访问的资源时,会将此路径下的所有资源以列表呈现给用户;非常危险,不建议使用;
FollowSymLinks:如果某页面文件为链接文件,指向DocumentRoot之外路径上的其它文件时,将直接显示目标文件的内容;
None: 都不启用
All:所有的都启用;
(2) AllowOverride None
是否允许路径下的.htaccess文件覆盖定义的访问控制权限
(3) 基于来源地址访问控制
Order: 检查次序
Order Allow Deny:以Allow优先处理,但没有写入规则的则默认为Deny。常用于:开放所有,拒绝特定
Order Deny Allow: 以Deny优先处理,但没有写入规则的则默认为Allow。常用于:拒绝所有,开放特定
注意:当Allow和Deny的规则当中有重复的,则以Order先后顺序为主。
Allow from:允许访问的来源地址
Deny from:拒绝访问的来源地址
from后可跟上的地址格式:
IP地址;
网络地址:
172.16
172.16.0.0
172.16.0.0/16
172.16.0.0/255.255.0.0
例:
<Directory /var/www>
Options None
AllowOverride None
Order Allow Deny
Allow from all
Deny from 192.168.1.110
</Directory>
8、定义默认的主页面
DirectoryIndex index.htmlindex.html.var
自左而右,找到首次匹配到的文件;就将其做为默认主页面返回。
9、配置日志
错误日志:
访问日志:要定义日志格式
先定义日志格式
日志内容
%h | 记录客户端主机的IP地址 |
%l | 客户用户通过identd登录时使用名称;一般为- [ - 为空 ]; |
%u | 用户认证登录的名字[基于.htpasswd的密码认证才有];无登录机制一般为-; |
%t | 收到客户端请求时的时间; |
\" | 显示引号本身,而不作为引用符号;\为转意符 |
%r | 请求报文的首行 <method> <url> <version> |
%>s | 响应状态状态码 |
%b | 响应报文的大小,单位为字节;不包含首部信息; |
%{Referer}i | 记录Http首部Referer对应的值,即访问入口,从哪个页面跳转至此页面;[直接从浏览器进入为空] |
%{User-Agent}i | 记录http首部User-Agent对应的值;即浏览器内核类型; |
详情:http://httpd.apache.org/docs/2.2/mod/mod_log_config.html#formats
10、路径别名
Alias/URL/ "/path/to/some_directory"
例如:Alias /bbs/ "/web/bbs/htdocs/"
DocumentRoot"/var/www/html"
注意:路径最后一个斜线都要有或者都没有
URL: http://www.lx.com/bbs/index.html --> 找的是/web/bbs/htdocs/index.html而不是/var/www/html下的文件
11、设定默认字符集
AddDefaultCharset UTF-8
常用字符集:GBK, GB2312, GB18030
12、基于用户的访问控制
质询:
响应报文首部:WWW-Authenticate[ 服务器用401状态拒绝客户端请求,说明需要用户提供用户名和密码;弹出对话框 ]
认证:
请求报文首部:Authorization[ 客户端用户填入账号密码后再次发请求至服务器;认证通过,则请求授权 ]
安全域:需要用户认证后方能访问的路径,应该有其名称,用于向用户通知此认证的原因等;
http协议支持的认证方式:
basic:基本 BASE64 [ 只是编码不是加密 ]
digest:摘要 [老的浏览器不支持]
basic认证机制的实现
(1) 定义安全域
<Directory"/data/web/html/employee">
Options None
AllowOverride None
AuthType Basic
AuthName "Employee Infomation, only for employee" [ "注释显示信息" ]
AuthUserFile /etc/httpd/users/.passwd [ htpasswd生成的基于Basic的密钥文件 ]
Require user tom jerry [ 允许AuthUserFile文件中的那些用户登录 ]
</Directory>
Require valid-user: 所有位于AuthUserFile文件中定义的用户都允许登录;
Require user user1 user2 ...: 仅允许user1,user2等出现AuthUserFile文件中定义的特定几个用户登录;
(2) 提供用户的账号文件
htpasswd命令用于维护此文件
htpasswd [ -c ] [ -m ] [ -D ] passwdfileusername
-c:添加第一用户时创建此文件;若文件存在,则覆盖文件
-m:以md5格式加密用户密码存放;
-s:以sha格式加密用户密码存放;
-D:删除指定用户
例:htpasswd -c .passwd lx
当添加第二个用户时,不用-c 即 htpasswd .passwd abc
(3) 组认证
<Directory"/data/web/html/employee">
Options None
AllowOverride None
AuthType Basic
AuthName "Employee Infomation, onlyfor employee"
AuthUserFile /etc/httpd/users/.htpasswd
AuthGroupFile /etc/httpd/users/.htgroup
Require group GRP1 GRP2 ...
</Directory>
组文件:
每行定义一个组,格式
Grp_Name: USERNAME1 USERNAME2 ...
测试:组认证过程:
1.编辑/etc/httpd/conf/httpd.conf
2.mkdir -p /web/vhosts/test /web/vhosts/test/protect
3.创建测试database页面 vim /web/vhosts/test/protect/database ; <h1>database test<h1>
4.用htpasswd命令创建密码文件 htpasswd -c/web/vhosts/test/protect/.passwd lx ;
htpasswd /web/vhosts/test/protect/.passwd tom; htpasswd/web/vhosts/test/protect/.passwd jeery
5.创建组文件 vim/web/vhosts/test/protect/.group
注意:虚拟用户一定要有密码才能登录,即必须用htpasswd命令创建进入AuthUserFile中
13、虚拟主机
一个物理器可以服务于多个站点,每个站点可通过一个或多个虚拟主机来实现;
httpd三种类型的虚拟主机:
基于IP
基于Port[端口]
基于FQDN[域名] 需有DNS解析
注意:得首先关闭‘Main‘server ;即注释全局的DocumentRoot指令即可;
定义虚拟主机的方法:
<VirtualHost"IP:PORT">
ServerName 主机名[www.lx.com]
DocumentRoot网站页面放置主目录[/var/www/html]
注意:额外经常用于每个虚拟主机的配置有
ErrorLog错误日志记录文件位置,不存在会自动生成 [/var/log/httpd/lx.err]
CustomLog 访问日志文件位置,不存在会自动生成 [/var/log/httpd/lx.access] 日志格式[ common|combined|agent|referer]
ServerAlias 定义路径别名
<Directory></Directory>
<Location></Location>
</VirtualHost>
注意:大多数可用于全局或‘main‘ server中的指令,都可以定义有VirtualHost中;
示例1:基于IP
<VirtualHost172.16.100.11:80>
ServerName www.a.com
DocumentRoot /vhost/a.com/htdocs/
</VirtualHost>
<VirtualHost172.16.100.21:80>
ServerName www.b.org
DocumentRoot /vhost/b.org/htdocs/
</VirtualHost>
<VirtualHost172.16.100.31:80>
ServerName www.c.net
DocumentRoot /vhost/c.net/htdocs/
</VirtualHost>
注意:本机要配置上所有IP地址并能够用于通信;
示例2:基于Port
<VirtualHost172.16.100.11:80>
ServerName www.a.com
DocumentRoot /vhost/a.com/htdocs/
</VirtualHost>
<VirtualHost172.16.100.11:808>
ServerName www.b.org
DocumentRoot /vhost/b.org/htdocs/
</VirtualHost>
<VirtualHost172.16.100.11:8080>
ServerName www.c.net
DocumentRoot /vhost/c.net/htdocs/
</VirtualHost>
注意:httpd要监听这里指明的所有端口
Listen
示例3:混用IP和Port
<VirtualHost172.16.100.11:80>
ServerName www.a.com
DocumentRoot /vhost/a.com/htdocs/
</VirtualHost>
<VirtualHost172.16.100.21:80>
ServerName www.b.org
DocumentRoot /vhost/b.org/htdocs/
</VirtualHost>
<VirtualHost172.16.100.11:8080>
ServerName www.c.net
DocumentRoot /vhost/c.net/htdocs/
</VirtualHost>
示例4:基于FQDN
注释全局的DocumentRoot指令
NameVirtualHost 172.16.100.11:80
<VirtualHost172.16.100.11:80>
ServerName www.a.com
DocumentRoot /vhost/a.com/htdocs/
</VirtualHost>
<VirtualHost172.16.100.11:80>
ServerName www.b.org
DocumentRoot /vhost/b.org/htdocs/
</VirtualHost>
<VirtualHost172.16.100.11:80>
ServerName www.c.net
DocumentRoot /vhost/c.net/htdocs/
</VirtualHost>
14、内置的status页面
<Location/server-status>
SetHandler server-status
Order deny,allow
Deny from all
Allow from 172.16.0.0/16
</Location>
可以嵌套使用,Location相当于Directory
例:通过www1.stuX.com/server-status输出httpd工作状态相关信息,且只允许帐号lx通过密码才能访问,接可以查看www1.stuX.com的index.html;
15 curl命令
curl是基于URL语法在命令行方式下工作的文件传输工具,它支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET,DICT, FILE及LDAP等协议。curl支持HTTPS认证,并且支持HTTP的POST、PUT等方法, FTP上传,kerberos认证,HTTP上传,代理服务器, cookies,用户名/密码认证,下载文件断点续传,上载文件断点续传,,http代理服务器管道( proxy tunneling),甚至它还支持IPv6, socks5代理服务器,,通过http代理服务器上传文件到FTP服务器等等,功能十分强大。
curl[options] [URL...]
curl的常用选项:
-A/--user-agent <string> 设置用户代理发送给服务器
-basic 使用HTTP基本认证
--tcp-nodelay 使用TCP_NODELAY选项
-e/--referer <URL> 来源网址
--cacert <file> CA证书 (SSL)
--compressed 要求返回是压缩的格式
-H/--header <line>自定义头信息传递给服务器
-I/--head只显示响应报文首部信息
--limit-rate <rate> 设置传输速度
-u/--user<user[:password]>设置服务器的用户和密码
-0/--http1.0 使用HTTP1.0
用法:curl [options] [URL...]
例: 1.伪装成chrome浏览器
curl -A "chrome 4.0" http://192.168.1.110
另一个工具:elinks 全屏浏览器
elinks[OPTION]... [URL]...
-dump: 不进入交互式模式,而直接将URL的内容输出至标准输出;
16 使用mod_deflate模块压缩页面优化传输速度
适用场景:
(1) 节约带宽,额外消耗CPU;同时,可能有些较老浏览器不支持;
(2) 压缩适于压缩的资源,例如文件文件;
添加进/etc/httpd/conf/httpd.conf即可对压缩格式做限定
SetOutputFilter DEFLATE 输出过滤器
#mod_deflate configuration
# Restrict compression to these MIMEtypes 限制压缩这些MIME类型
AddOutputFilterByTypeDEFLATE text/plain
AddOutputFilterByTypeDEFLATE text/html
AddOutputFilterByTypeDEFLATE application/xhtml+xml
AddOutputFilterByTypeDEFLATE text/xml
AddOutputFilterByTypeDEFLATE application/xml
AddOutputFilterByTypeDEFLATE application/x-javascript
AddOutputFilterByTypeDEFLATE text/javascript
AddOutputFilterByTypeDEFLATE text/css
# Level of compression (Highest 9 -Lowest 1) 压缩级别
DeflateCompressionLevel9
# Netscape 4.x has some problems.
BrowserMatch^Mozilla/4 gzip-only-text/html
#Netscape 4.06-4.08 have some more problems
BrowserMatch^Mozilla/4\.0[678] no-gzip
#MSIE masquerades as Netscape, but it is fine
BrowserMatch\bMSI[E] !no-gzip !gzip-only-text/html
17、https
http over ssl = https 443/tcp 不再是文本格式传输而是二进制格式传输
ssl: v3 tls: v1
SSL会话的简化过程
(1) 客户端发送可供选择的加密方式,并向服务器请求证书;
(2) 服务器端发送证书以及选定的加密方式给客户端;
(3) 证书验正:
如果信任给其发证书的CA:
(a) 验正证书来源的合法性;用CA的公钥解密证书上数字签名;
(b) 验正证书的内容的合法性:完整性验正
(c) 检查证书的有效期限;
(d) 检查证书是否被吊销;
(e) 证书中拥有者的名字,与访问的目标主机要一致;
(4) 客户端生成临时会话密钥(对称密钥),并使用服务器端的公钥加密此数据发送给服务器,完成密钥交换;
(5) 服务用此密钥加密用户请求的资源,响应给客户端;
注意:SSL会话是基于IP地址创建;所以单IP的主机上,仅可以使用一个https虚拟主机;
配置httpd支持https:
(1) 为服务器申请数字证书;
测试:通过私建CA发证书
(a) 创建私有CA
(b) 在服务器创建证书签署请求
(c) CA签证
(2) 配置httpd支持使用ssl,及使用的证书;
#yum -y install mod_ssl
配置文件:/etc/httpd/conf.d/ssl.conf
DocumentRoot
ServerName
SSLCertificateFile [证书]
SSLCertificateKeyFile [私钥]
(3) 测试基于https访问相应的主机;
#openssl s_client [-connect host:port] [-cert filename] [-CApath directory][-CAfile filename]
例 openssl s_client -connect 192.168.1.115 -Cafile/etc/pki/CA/cacert.pem
基于windows的方法:把CA中自签证书重命名为cacert.crt导入到授信任的根证书即可
18、httpd自带的工具程序
htpasswd: basic认证基于文件实现时,用到的账号密码文件生成工具;
apachectl:httpd自带的服务控制脚本,支持start, stop;
例apachectl start
apxs:由httpd-devel包提供的,扩展httpd使用第三方模块的工具;
rotatelogs:日志滚动工具;
access.log-->
access.log, access.1.log-->
access.log,access.1.log, access.2.log
suexec:访问某些有特殊权限配置的资源时,临时切换至指定用户运行;可以在配置文件中修改User和Group即用谁的身份运行httpd
19、http压力测试工具
ab、webbench、http_load
jmeter、loadrunner
tcpcopy
ab[OPTIONS] URL
-n: 总的请求数
-c:模拟的并发数[不能超过1024,超过时用ulimit命令设置]
-k: 以持久连接模式测试
例 ab -n 1000 -c 100 -k http://www.lx.com [ulimit -n #: 调整当前用户所同时打开的文件数;]
测试结果也一目了然,测试出的吞吐率为:Requests per second: 2015.93 [#/sec](mean) 初次之外还有其他一些信息。
Server Software 表示被测试的Web服务器软件名称
Server Hostname 表示请求的URL主机名
Server Port 表示被测试的Web服务器软件的监听端口
Document Path 表示请求的URL中的根绝对路径,通过该文件的后缀名,我们一般可以了解该请求的类型
Document Length 表示HTTP响应数据的正文长度
Concurrency Level 表示并发用户数,这是我们设置的参数之一
Time taken for tests 表示所有这些请求被处理完成所花费的总时间
Complete requests 表示总请求数量,这是我们设置的参数之一
Failed requests 表示失败的请求数量,这里的失败是指请求在连接服务器、发送数据等环节发生异常,以及无响应后超时的情况。如果接收到的HTTP响应数据的头信息中含有2XX以外的状态码,则会在测试结果中显示另一个名为 “Non-2xx responses”的统计项,用于统计这部分请求数,这些请求并不算在失败的请求中。
Total transferred 表示所有请求的响应数据长度总和,包括每个HTTP响应数据的头信息和正文数据的长度。注意这里不包括HTTP请求数据的长度,仅仅为web服务器流向用户PC的应用层数据总长度。
HTML transferred 表示所有请求的响应数据中正文数据的总和,也就是减去了Total transferred中HTTP响应数据中的头信息的长度。
Requests per second 吞吐率,计算公式:Complete requests / Time taken for tests
Time per request 用户平均请求等待时间,计算公式:Time token for tests/(Complete requests/Concurrency Level)
Time per requet(across all concurrentrequest) 服务器平均请求等待时间,计算公式:Time taken for tests/Complete requests,正好是吞吐率的倒数。也可以这么统计:Time per request/Concurrency Level
Transfer rate 表示这些请求在单位时间内从服务器获取的数据长度,计算公式:Total trnasferred/ Time taken for tests,这个统计很好的说明服务器的处理能力达到极限时,其出口宽带的需求量。
Percentage of requests served within acertain time(ms)这部分数据用于描述每个请求处理时间的分布情况,比如以上测试,80%的请求处理时间都不超过6ms,这个处理时间是指前面的Time per request,即对于单个用户而言,平均每个请求的处理时间。
编译安装httpd-2.4
新特性:
(1) MPM支持运行DOS[动态模块装载]机制;
(2) 支持eventMPM;
(3) 支持异步读写;
(4) 支持每模块及每个目录分别使用各自的日志级别;
(5) 每请求配置;<If>
(6) 增强版的表达式分析器;
(7) 支持毫秒级的keepalivetimeout;
(8) 基于FQDN的虚拟主机不再需要NameVirtualHost指令;
(9) 支持用户自定义变量;
新模块:
(1)mod_proxy_fcgi
(2)mod_ratelimit
(3)mod_remoteip
修改了一些配置机制:
不再支持使用Order, Deny, Allow来做基于IP的访问控制;
httpd依赖于apr,apr-util, 可能还有apr-icon
apr:apache portable runtime
编译安装步骤:
前提:
下载1.4+版的apr、apr-util、httpd-2.4的源码包
安装开发环境,安装pcre-devel、zib-devel
例:以apr-1.5.0.tar.bz2,apr-util-1.5.3.tar.bz2,httpd-2.4.10.tar.bz2为例 [ 注意:源码编译有先后顺序 apr->apr-util->httpd-2.4 ]
yum groupinstall "Development tools" "Server PlatformDevelopment"
yum install pcre-devel zib-devel
(1)apr
#./configure --prefix=/usr/local/apr
#make && make install
(2)apr-util
# ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr
#make && make install
(3)httpd-2.4
#groupadd -r apache
#useradd -r -g apache apahce
# ./configure --prefix=/usr/local/apache --sysconfdir=/etc/httpd --enable-so --enable-ssl--enable-cgi --enable-rewrite --with-zlib --with-pcre --with-apr=/usr/local/apr--with-apr-util=/usr/local/apr-util/ --enable-modules=most--enable-mpms-shared=all --with-mpm=prefork
注意:-with-包名[例pcre-devel]=路径
都要先装它的devel包,用rpm包装的devel包不用指路径,因为默认就是找/usr/下的;而不在这个路径下的要指明
-enable-so | 支持DSO动态装卸载模块机制 |
-enable-cgi | 支持CGI[通用网关接口]模式 |
-enable-ssl | 支持ssl |
-enable-rewrite | 支持url重写,依赖pcre-devel包 |
-with-zilb | 可以基于zlib可以压缩报文 |
-with-pcre | 支持使用pcre功能 |
-with-apr=/usr/local/apr | 支持apr功能 |
-with-apr-util=/usr/local/apr-util | 支持apr-util贡呢 |
--enable-modules=most | 开启最多的模块 |
--enable-mpms-share=all | 把所有的mpm都做成共享模块 |
--with-mpm=prefork | 把prefork设为默认的mpm |
#make && make install
先将/usr/local/apache/bin设为开机启动的环境变量
启动服务:
apachectl start|stop
配置:
注意:主配置文件在/etc/http/httpd.conf 辅助配置文件在/etc/httpd/extra/下
(1) 切换使用MPM
LoadModulempm_NAME_module modules/mod_mpm_NAME.so
NAME:prefork, event, worker
用httpd -M查看模块是否启用
(2) 修改‘Main‘server的DocumentRoot
①修改DocumentRoot ②显示授权编写Directory
(3) 基于IP的访问控制法则
允许所有主机访问:Require all granted
拒绝所有主机访问:Require all deny
控制特定IP访问:
Require ip IPADDR:授权指定来源地址的主机访问
Require not ip IPADDR:拒绝指定来源地址的主机访问
IPADDR:
IP:172.16.100.2
Network/mask:172.16.0.0/255.255.0.0
Network/Length:172.16.0.0/16
Net:172.16
例:Require ip 192.168.1.110
控制特定主机(HOSTNAME)访问
Requirehost HOSTNAME
Requirenot host HOSTNAME
HOSTNAME:
FQDN: 特定主机
DOMAIN:指定域内的所有主机
例:Require host www.baidu.com
(4) 虚拟主机
基于IP、Port和FQDN都支持;
基于FQDN的需要注释‘Main‘ Server即DocumentRoot,不再需要NameVirtualHost指令;
vim /etc/httpd/httpd.conf 开启这一项
(5) ssl
启用模块:取消注释
编辑配置vim /etc/httpd/extra/httpd-ssl.conf
(6) 服务脚本
①先复制一个之前用rpm包安装的/etc/rc.d/init.d/httpd文件
例 scp root@192.168.1.110:/etc/rc.d/init.d/httpd/etc/rc.d/init.d/httpd
②vim /etc/rc.d/init.d/httpd 修改这三项
③用chkconfig命令增加httpd服务;在chkconfig工具服务列表中增加此服务,此时服务会被在/etc/rc.d/rc#.d中赋予K/S入口了
④测试使用service httpd start
本文出自 “xxlixin” 博客,请务必保留此出处http://xxlixin1993.blog.51cto.com/9498220/1641300
原文地址:http://xxlixin1993.blog.51cto.com/9498220/1641300