标签：序列化 重复 测试版 报文 内存碎片 自动 cache 信息 trick
两类缓存服务器：缓存服务器也可以根据缓存数据内容分类：
1.数据缓存；data cache
2.页面缓存；page cache
数据存在访问热区，指被经常访问的数据。
缓存的实质是：用空间换时间；
缓存的局部性特征：空间局部性和时间局部性：
缓存的时效性：
过期清理：PURGE，修剪；
未过期但溢出清理：LRU（最少使用原则）；
未过期但被修改：PURGE，修剪；
缓存命中率：Hits/(Hits + Miss) ，取值范围区间是(0,1)，通常也会用百分数进行表示；
页面命中率：基于命中的页面数量进行统计衡量的一种标准；
字节命中率：基于命中的页面的体积进行统计衡量的一种标准；（更为精确）
数据缓存与否：
1.私有数据：private data，放置于私有缓存中；
http/1.1版本后的首部中，提供了一个Cach-Control的首部；Cache-Control首部的值中包含有private字样，或者提供了Cookie或者Cookie2的首部；此类数据大多数都是由浏览器完成缓存；
2.公共数据：public data，可以放置于公共缓存，也可以放置于私有缓存中；
此类数据大多数缓存在反代服务器上或者专用的Cache Server上；
小部分也可以缓存在浏览器上；
注意：
浏览器的缓存（一般是私有缓存）：
仅针对于单独的用户生效，使用户重复访问某资源时能够加速访问；
缓存服务器的缓存（一般是公共缓存）：
为前端调度器或反代服务器加速资源访问，降低后端资源服务器的访问压力；
对于缓存服务器来说，缓存的处理步骤（大致成功的处理步骤）：
接收请求 --> 解析请求(从请求报文的http协议首部中提取URL及其他相关的首部信息) --> 查询缓存 --> 缓存数据的新鲜度检测 --> 构建响应报文 --> 发送响应报文--> 记录日志
缓存数据的有效性判断机制：
1.过期时间：
HTTP/1.0：
Expires，绝对时间；
HTTP/1.1：
1.Expires
2.Cache-Control（首部）：max-age=86400
3.Cache-Control：s-maxage=10000 （s代表公共缓存）
2.条件式请求：
Last-Modified/If-Modified-Since ：响应报文/请求报文的条件请求
Etag/If-None-Match ：扩展标签，对标签进行哈希计算；If-None-Match：如果不匹配，返回200代表不匹配
示例：查看百度的logo资源：
Cache-Control max-age=2592000 //缓存资源的最大有效时间
ETag "593645fd-664" //得到的16进制的哈希值
Expires Wed, 11 Jul 2018 03:43:28 GMT //过期时间
Last-Modified Tue, 06 Jun 2017 06:04:45 GMT //自 06 Jun 2017 06:04:45 GMT这个时间点开始资源无变化（GMT：格林尼治时间）
一、memcached缓存服务器：
属于旁挂式缓存服务器，也属于数据缓存；
memcached存储形式：
1.将所有数据采用键值对儿的形式存储于内存当中；
2.无持久存储功能；
3.通常用于缓存小文件，小数据，单项缓存数据内容上限是1MB；
memcached由LiveJournal公司旗下的子公司Danga Interactive研发者Brad Fitzpatrick研发；
memcached特性：
1.k/v cache；可序列化数据，扁平化数据； //常见的还有JSON，也是序列化数据
2.存储项：key（键）, value（值）, flag（16位二进制数字，0-65535）, expire_time（超时时间）, length（保存数据的长度）等简单部分组成；
3.旁挂式缓存，功能实现一半依赖于客户端，另一半靠memcached server；
4.O(1)的查找和执行效率；
5.可以构建分布式缓存系统，各服务器之间互不通信的分布式集群系统；
6.缓存数据的处理方式（较为特殊）：
1）缓存空间耗尽：根据LRU（最近最少使用算法）完成清理过期数据；
2）缓存项过期：惰性清理机制---用来尽可能减少内存碎片
7.内存分配方式：
slab allocation：按照页面进行打散，将打散的页面分成若干个更小的页面，最大1M
facter：增长因子；默认1.25倍递增；小页面根据增长因子来分配空间大小，最后会留下一个最大不超过1M的空间。
安装配置memcached：
1.base源中有对应的rpm包；可以直接使用yum方式安装内容；
~]# yum install memcached -y
2.从memcached.org官方站点下载源代码包，编译安装；
memcached缓存服务监听的端口：
11211/TCP, 11211/UDP；
memcached缓存服务程序安装后的默认环境：
主程序：/usr/bin/memcached
环境配置文件：/etc/sysconfig/memcached
~]# cat /etc/sysconfig/memcached
PORT="11211" //监听的端口号
USER="memcached" //程序属于哪个用户
MAXCONN="1024" //服务的最大连接数
CACHESIZE="64" //缓存大小默认为64
OPTIONS="" //其他选项默认为空
memcached缓存服务使用的协议是memcached协议，memcached协议支持的数据传输格式是：
1.文件格式
2.二进制格式
交互式操作（~]# telnet+载有memcached服务主机的IP地址+端口号（默认是11211），使用telnet命令进入交互式操作模式）：
命令：
1.统计类：stats, stats items（缓存项查看）, stats slabs（内存空间的查看）, stats sizes
2.管理类：set（修改特定键的值）, add（添加一个新的键）, replace（替换原有键的值）, append（在原有键值后附加一个值）, prepend（在原有键值前附加一个值）, delete（删除键）, incr（给键添加值）, decr（给键删除值）, flush_all（清空所有键）
3.查看类：get
memcached交互式命令的一般格式：
<command> key_name [flags] [expire_time] [length_bytes] \n
key_name：键名
[flags]：标志位，范围是0-65535
[expire_time]：键最大缓存时间（秒）
[length_bytes]：字符长度
例:
添加一个新键：
add testkey 0 300 11
hello world
STORED
查看新键：
get testkey
VALUE testkey 0 11
hello world
END
在新键后添加字符并查看：
添加：
append testkey 0 300 2
hi
STORED
查看：
get testkey
VALUE testkey 0 13
hello worldhi
END
在新键前添加字符并查看：
添加：
prepend testkey 0 300 3
hi
STORED
查看：
get testkey
VALUE testkey 0 14
hi hello world
END
memcached命令选项：
-c num ：指名并发连接数量，默认是1024
-m num ：分配多大的内存空间，默认是64M
-u username ：指定哪个用户启动memcached服务进程
-p port ：指定端口号，默认是11211
-U port ：指定UDP协议的端口号，默认是11211,0是关闭
-l ipaddress ：监听哪一个地址，默认是所有
-f facter ：指明增长因子，默认是1.25倍
-t thread_num ：设置线程数，默认是4个线程
-v,-vv,-vvv ：显示的详细信息程度二、VARNISH缓存服务器：
varnish缓存服务器是属于页面缓存服务器的一种，用来为客户端请求提供查询结果，也属于代理式缓存服务器。
varnish缓存服务器特点：
varnish缓存服务器可以实现的功能：反向代理 + 缓存服务器
varnish缓存服务器默认在内存中占用128M内存空间去进行缓存服务
缓存服务器的实现：
开源解决方案：
squid：上世纪90年代中期出现；使用率较低
varnish：反向代理式缓存：使用率较高的缓存服务器实现方案；
https://www.varnish-software.com/ //商业版本服务站点
http://varnish-cache.org/ //开源站点
varnish程序的组织结构：
1.Management进程：
1）varnish的主进程；
2）提供命令行工具的访问接口，用来管理子进程，初始化缓存；
2.Child/Cache进程：拥有多种线程模型，如下：
command line
storage/hashing
log/stats
accept
worker threads
object expiry
backend communication
...
3.VCL compiler：C compiler(gcc)
varnish的线程池作用：
统计数据：数据统计和计数器；
日志区域：日志数据；
VCL文件的处理方式：
vcl compiler （vcl编译器编译完成）--> C compiler （再到C的编译器中编译处理）--> shared object
vcl配置文件的重载工具：
/usr/sbin/varnish_reload_vcl
VCL：Varnish Configuration Language，varnish配置语言；
统一存放于后缀名为".vcl"的文件中，在初次安装了varnish之后，在配置主目录中会自动创建出一个名为"default.vcl"的文件，但其内容几乎为空；
varnish的安装：
在EPEL源中直接提供了varnish的稳定版本；
安装命令：yum install -y varnish （需先配置EPEL源）
varnish的程序环境：
1.配置文件：
/etc/varnish/default.vcl
定义缓存策略的默认配置文件，主要用于配置各Child/Cache线程的工作属性；
/etc/varnish/varnish.params
定义varnish缓存服务的运行时参数以及工作特性；
/etc/varnish/secret
在使用varnishadm命令行管理工具时，为了安全起见使用的预共享密钥；
2.主程序： /usr/sbin/varnishd
1）CLI（简单的命令行接口管理工具）：
/usr/bin/varnishadm
2）Share Memory Log交互工具：
/usr/bin/varnishhist
/usr/bin/varnishlog
/usr/bin/varnishncsa
/usr/bin/varnishstat
/usr/bin/varnishtop
开启varnish日志记录（默认没有开启）：
1./usr/bin/varnishlog
2./usr/bin/varnishncsa（建议在需要开启日志记录的时候开启，因为其更接近于Apache的command的命令形式）
3）缓存测试工具：
/usr/bin/varnishtest
4）varnish的Unit FIle：
/usr/lib/systemd/system/varnish.service：管理varnish的Management进程；
实现日志持久化存储的服务文件；
/usr/lib/systemd/system/varnishlog.service
/usr/lib/systemd/system/varnishncsa.service主程序：/usr/sbin/varnishd
varnishd - HTTP accelerator daemon --http加速器守护进程
常用选项：
-a address[:port][,address[:port][...]
指定用于接收客户端请求所监听的地址和服务端口，默认值为127.0.0.1:6081
-b host[:port]：添加一个backend sever的主机和端口号
-T address[:port]：实现管理的时候需要用到的地址和端口号；
-f config：
指明此次需要编译并装载的VCL配置文件，默认为/etc/varnish/default.vcl；
-p param=value
设置varnish线程模型的运行时参数和参数值；
大多数的运行时参数都有默认值，不要轻易尝试调整运行时参数的值；
在命令行工具中使用此选项调整的运行时参数的值，仅当次生效；
-r param[,param...]
将运行时参数设置为只读属性；意味着当再次运行时，其值无法被修改；
-s [name=]type[,options]：指定缓存的存储机制
定义缓存数据的存储方式，目前有三种存储机制：
1.malloc[,size]：性能最好，但是所有的数据保存在内存中；
2.file[,path[,size[,granularity]]]：只是一种黑盒文件，内容无法观察；键值对儿存放于内存当中，哈希值存放于磁盘中，保证快速检索，不会占用内存太多空间
3.persistent,path,size (experimental，体验测试版)：持久存储（机制不成熟）
-T address[:port]
在指定的IP地址和端口号上提供管理接口；默认为127.0.0.1:6082；
-u user、-g group
指定允许varnish服务进程的系统用户和系统组，默认均为varnish；
运行时参数的配置文件：/etc/varnish/varnish.params
DAEMON_OPTS="-p param1=value1 -p param2=value2 ..."
thread_pool_min=5
thread_pool_max=500
thread_pool_timeout=300命令行管理工具：varnishadm （交互式模式）
varnishadm - Control a running Varnish instance
常用选项：
-S secret_file
指定通过命令行工具实现验证时的预共享密钥文件；
-T address:port
指定管理地址和端口；
交互式模式的命令：
help [<command>] ：varnishadm命令帮助
ping [<timestamp>] ：做连通测试
auth <response> :做认证
quit ：退出交互式模式
banner ：做条幅
status ：状态输出
start ：启动varnish服务（不建议使用） //重启、关闭、开启都会把缓存清空，这是致命的
stop ：关闭varnish服务（不建议使用）
管理vcl：
vcl.load <configname> <filename>：装载并且编译vcl文件
vcl.inline <configname> <quoted_VCLstring>：
vcl.use <configname>：激活已经编译好的vcl文件；
vcl.discard <configname>：删除已经编译好的非激活状态下的vcl配置文件；
vcl.list：vcl配置文件一共有哪些；
param.show [-l] [<param>]：列举所有运行时参数并且输出详细参数；
param.set <param> <value>：临时修改某个运行时参数的值，一次性修改，重启后恢复默认
panic.show：显示运行时参数列表或显示指定的运行时参数的详细信息；
panic.clear：清空运行时参数列表；
storage.list：显示缓存存储相关信息；
vcl.show [-v] <configname> ：显示default.vcl所有配置历史更改列表，包括正在使用和使用过的；
backend.list [<backend_expression>] ：后端服务器列表显示；
backend.set_health <backend_expression> <state> ：设置后端服务器将康状态码；常用的命令：
VCL配置文件管理相关：
vcl.load：装载并编译VCL配置文件；
vcl.use：激活已经编译完成的VCL配置文件；
vcl.discard：删除非激活状态下的VCL配置文件；
运行时参数相关：
param.show：显示运行时参数列表或显示指定的运行时参数的详细信息；
param.set：实时设置或修改运行时参数的值；（不要轻易尝试修改，一定要清楚操作的目的）
缓存存储相关：
storage.list：显示缓存存储相关信息；
后端服务器相关：
backend.list：显示可以直接访问的后端服务器列表；
backend.set_health：指明后端服务器的健康状态检测方式；VCL：Varnish Configuration Language；
"域"专有类型的配置语言；
VCL中定义了多个状态引擎，各状态引擎之间存在相关性，同时又彼此隔离；每个状态引擎内都可以使用return()关键字指明各状态引擎之间的关联关系；在VCL文件中，状态引擎使用如下的方式进行定义：
sub STATE_ENGINE_NAME { ...; }
sub+状态引擎的名字+{ 配置指令1;配置指令2;... }三个varnish状态引擎版本对比以及数据处理流程：
1.varnish 2.0-状态引擎包括：
vcl_recv：接收请求，并且判断是否可以使用缓存数据；
vcl_hash：对于从backend端取回的数据，如果可被缓存，则进行哈希计算；
vcl_hit：对于请求的资源可以在缓存对象中直接获取；
vcl_miss：对于请求的资源无法在缓存对象中直接获取；
vcl_deliver：构建响应报文；
vcl_fetch：从backend端取回数据；
varnish2.0的处理流程：
1.vcl_recv --> vcl_hash --> vcl_hit --> vcl_deliver
2.vcl_recv --> vcl_hash --> vcl_miss --> vcl_fetch --> vcl_deliver
3.vcl_recv --> vcl_fetch --> vcl_deliver （不走缓存）
2.varnish 3.0状态引擎包括：
vcl_recv：接收请求，并且判断是否可以使用缓存数据；
vcl_hash：对于从backend端取回的数据，如果可被缓存，则进行哈希计算；
vcl_hit：对于请求的资源可以在缓存对象中直接获取；
vcl_miss：对于请求的资源无法在缓存对象中直接获取；
vcl_deliver：构建响应报文；
vcl_fetch：从backend端取回数据；
较varnish2.0新增：
vcl_pass：对于本来可以从缓存中查找到资源明确的设置不使用缓存；多数用于私有缓存的查找策略；
vcl_pipe：对于无法理解的请求，直接按照原样的封装直接代理至backend端；
vcl_error：本地发生错误时，构建错误响应报文；
varnish的处理流程：
1.vcl_recv --> vcl_hash --> vcl_hit --> vcl_deliver
2.vcl_recv --> vcl_hash --> vcl_hit --> vcl_pass --> vcl_fetch -->vcl_deliver
3.vcl_recv --> vcl_hash --> vcl_miss --> vcl_fetch --> vcl_deliver
4.vcl_recv --> vcl_hash --> vcl_miss --> vcl_pass --> vcl_fetch --> vcl_deliver
5.vcl_recv --> vcl_pass --> vcl_fetch --> vcl_deliver
6.vcl_recv --> vcl_pipe
3.varnish 4.0+状态引擎包括：
vcl_recv：接收请求，并且判断是否可以使用缓存数据；
vcl_hash：对于从backend端取回的数据，如果可被缓存，则进行哈希计算；
vcl_hit：对于请求的资源可以在缓存对象中直接获取；
vcl_miss：对于请求的资源无法在缓存对象中直接获取；
vcl_deliver：构建响应报文；
vcl_pass：对于本来可以从缓存中查找到资源明确的设置不使用缓存；多数用于私有缓存的查找策略；
vcl_pipe：对于无法理解的请求，直接按照原样的封装直接代理至backend端；
较于varnish3.0新增：
vcl_backend_fetch：从backend端取回数据；
vcl_backend_response：处理从backend取回的数据；
vcl_backend_error：本地发生错误时，构建错误响应报文；
vcl_synth：主要用于缓存修剪及信息发送；（由varnish3.0中的error变化而来）
vcl_purge：修剪缓存；
varnish的处理流程：
1.vcl_recv --> vcl_hash --> vcl_hit --> vcl_deliver
2.vcl_recv --> vcl_hash --> vcl_hit --> vcl_pass --> vcl_backend_fetch --> vcl_backend_response --> vcl_deliver
3.vcl_recv --> vcl_hash --> vcl_pass --> vcl_backend_fetch --> vcl_backend_response --> vcl_deliver
4.vcl_recv --> vcl_hash --> vcl_miss[ --> vcl_pass ] --> vcl_backend_fetch --> vcl_backend_response --> vcl_deliver
5.vcl_recv --> vcl_hash --> vcl_purge --> vcl_synth
6.vcl_recv --> vcl_hash --> vcl_pipe
7.vcl_recv --> vcl_hash --> waiting
↑ ↓
←←←←←
varnish中还有两个特殊的状态引擎：
vcl_init：
在处理任何请求之前要调用此引擎，主要用于初始化VMODs；
vcl_fini：
在所有的请求都已经处理结束，在VCL的配置被丢弃时调用此引擎，主要用于清理VMODs；VCL的语法格式：
1.与C、C++语言的语法非常相似，可以支持C、C++或perl风格的注释方式：
//, #, / ... /
2.VCL不支持循环和跳转语句；但可以是if条件分支(单分支、双分支及多分支)；
if的单分支格式：
if (condition) {
...;
}
if的双分支格式：
if (condition) {
...;
} else {
...;
}
if的多分支格式：
if (condition1) {
...;
} elseif (condition2) {
...;
} else {
...;
}
3.所有的字符串内容应该放置于""之内，且不能使用换行符；
4.支持内建和自定义的ACL；
5.支持丰富的操作符：=（赋值符号）, ==（等值比较）, >, >=, <, <=, !, &&（与运算）, ||（或运算）, ~
6.使用return()关键字来决定下一个处理流程使用哪个引擎，且return()关键字无返回值；
7.支持内建变量及自定义变量，并且内建变量之间存在依赖关系，只能在特定的引擎中调用特定的内建变量；
set var_name = value
unset var_name
VCL中的内建变量：
req.：request，表示客户端发送来的请求报文相关的变量；
bereq.：backend request，由varnish向backend端主机发送请求的相关变量；
resp.：response，由varnish响应给前端设备或客户端的响应报文的相关变量；
beresp.：backend response，由backend主机响应给varnish的响应报文的相关变量；
obj.*：存在在缓存空间中的缓存对象相关的变量，只读；
常用的内建变量：
req类：
req.http.HTTP_HEADER_NAME：
req.http.Cache-Control
req.http.User-Agent
req.http.Host：
...
req.url：客户端发送来的请求报文中的URL相关信息；
if (req.url ~ (?i)\.php$) {
return(pass);
}
req.method：客户端发送来的请求报文中的请求资源的方法；
req.proto：客户端发送来的请求报文中使用的http协议版本；
bereq类：
bereq.http.HTTP_HEADER_NAME：
bereq.http.Cache-Control
bereq.http.User-Agent
bereq.http.Host：
bereq.url：varnish向backend端发送的请求报文中的URL相关信息；
bereq.method：varnish向backend端发送的请求报文中的请求资源的方法；
bereq.proto：varnish向backend端发送的请求报文中使用的http协议版本；
bereq.backend：指明要调度的后端主机；
resp类：
resp.http.HTTP_HEADER_NAME：
resp.status：varnish自身向客户端发送的响应报文中的响应状态码；
resp.proto：varnish自身向客户端发送的响应报文中的http协议版本号；
beresp类：
beresp.http.HTTP_HEADER_NAME：
beresp.status：backend端主机向varnish发送的响应报文中的响应状态码；
beresp.proto：backend端主机向varnish发送的响应报文中的http协议版本号；
beresp.backend.name：backend端主机型varnish发送的响应报文中的主机名；
beresp.ttl：backend端主机响应的内容剩余的可缓存时长；
obj类：
obj.hits：指定的对象从缓存中命中的次数；(实时数值)
obj.miss：指定的对象从缓存中未命中的次数；(实时数值)
obj.ttl：指定的对象在缓存中剩余有效缓存时长；VCL的自定义变量：
定义变量：
set VAR_NAME = VALUE;
取消定义的变量：
unset VAR_NAME;
为了方便展示下面的配置示例，说一下环境：
1.在安装好的varnish缓存服务器主机上，/etc/varnish/varnish.params中修改监听的后端服务器端口号为80而不是默认的6081，其他默认就可以，方便显示;
2.在/etc/varnish/varnish.params中VARNISH_LISTEN_PORT=80，然后保存退出重启服务（重启命令：systemctl reload varnish.service）
3.iptables -F关闭防火墙；
4.setenforce 0 更改SELinux的状态，防止访问受影响；
标签：序列化 重复 测试版 报文 内存碎片 自动 cache 信息 trick
原文地址：http://blog.51cto.com/13487800/2154131
