码迷,mamicode.com
首页 > 其他好文 > 详细

高性能缓存加速器varnish(概念篇)

时间:2014-07-19 16:31:30      阅读:225      评论:0      收藏:0      [点我收藏+]

标签:varnish   varnish简介   varnish优点   工作流程   

高性能缓存加速器varnish(概念篇)

一、varnish简介

varnish是一款高性能的开源HTTP加速器,现在很多门户网站已经部署了varnish,并且反应都很好,甚至反应比squid还稳定,且效率更高,资源暂用更少。

作者Poul-Henning Kamp是FreeBSD的内核开发者之一。Varnish采用全新的软件体系架构,和现在的硬件提交配合紧密。在1975年时,储存媒介只有两种:内存与硬盘。但现在计算 机系统的内存除了主存外,还包括了cpu内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以得知这些情况,所以这部份的工作应该交给操作系统处理,这就是 Varnish cache设计架构。

挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid,性能居然比以前更好,这是Varnish最成功的应用案例。

二、varnish的特点

Varnish是一个轻量级的Cache和反向代理软件。先进的设计理念和成熟的设计框架是Varnish的主要特点。现在的Varnish总共代码量不大,虽然功能在不断改进,但是还需要继续丰富和加强。下面是Varnish的一些特点

1. 基于内存进行缓存,重启后数据将消失

2. 利用虚拟内存方式,I/O性能好

3. 支持设置0~60秒的精确缓存时间

4. VCL配置管理比较灵活

5. 32位机器上缓存文件大小最大为2G

6. 具有强大的管理功能,例如top、stat、admin、list等

7. 状态机设置巧妙,结构清晰

8. 利用二叉堆管理缓存文件,可达到积极删除目的

三、varnishsquid的对比

Squid是一个高性能的代理缓存服务器,它和varnish之间有诸多的异同点,如下:

1、相同点:

1) 都是一个反向代理服务器

2) 都是开源软件

2、不同点,也是Varnish的优点:

1) Varnish的稳定性很高,两者在完成相同负荷的工作时,Squid服务器发生故障的几率要高于Varnish,因为使用Squid要经常重启。

2) Varnish访问速度更快,Varnish采用了“Visual Page Cache”技术,所有缓存数据都直接从内存读取,而squid是从硬盘读取,因而Varnish在访问速度方面会更快。

3) Varnish可以支持更多的并发连接,因为Varnish的TCP连接释放要比Squid快。因而在高并发连接情况下可以支持更多TCP连接。

4) Varnish可以通过管理端口,使用正则表达式批量的清除部分缓存,而Squid是做不到的。

5) squid属于是单进程使用单核CPU,但Varnish是通过fork形式打开多进程来做处理,所以是合理的使用所有核来处理相应的请求。

四、Varnish的不足和解决方案

1、varnish的不足

与传统的Squid相比,Varnish也是有缺点的,如下:

1) varnish进程一旦挂起、崩溃或者重启,缓存数据都会从内存中完全释放,此时所有请求都会发送到后端服务器,在高并发情况下,会给后端服务器造成很大压力。

2) 在varnish使用中如果单个url的请求通过HA/F5(负载均衡)每次请求不同的varnish服务器中,被请求varnish服务器都会被穿透到后端,而且同样的请求会在多台服务器上缓存,也会造成varnish的缓存的资源浪费,也会造成性能下降。

2、解决方案

综上所述在访问量很大的情况下推荐使用varnish的内存缓存方式启动,而且后面需要跟多台squid服务器。主要为了防止前面的varnish服务、服务器被重启的情况下,前期肯定会有很多的穿透这样squid可以担当第二层cache,而且也弥补了varnish缓存在内存中重启都会释放的问题。这样的问题可以在负载均衡上做url哈希,让单个url请求固定请求到一台varnish服务器上,可以解决该问题。

五、varnish的工作流程

varnish启动有2个进程,master(management)进程和child(worker)进程。master读入存储配置命令,进行初始化,然后fork,监控child。child则分配线程进行cache工作,child还会做管理线程和生成很多worker线程。

child进程主线程初始化过程中,将存储大文件整个加载到内存中,如果该文件超出系统的虚拟内存,则会减少原来配置mmap大小,然后继续加载,这时候创建并初始化空闲存储结构体,放在存储管理的struct中,等待分配。

接着varnish某个负责接口新http连接的线程开始等待用户,如果有新的http连接,但是这个线程只负责接收,然后唤醒等待线程池中的work线程,进行请求处理。

worker线程读入uri后,将会查找已有的object,命中直接返回,没有命中,则会从后端服务器中取出来,放到缓存中。

如果缓存已满,会根据LRU算法,释放旧的object。对于释放缓存,有一个超时线程会检测缓存中所有object的生命周期,如果缓存过期(ttl),则删除,释放相应的存储内存。

 


本文出自 “快乐一生” 博客,请务必保留此出处http://tyjhz.blog.51cto.com/8756882/1440203

高性能缓存加速器varnish(概念篇)

标签:varnish   varnish简介   varnish优点   工作流程   

原文地址:http://tyjhz.blog.51cto.com/8756882/1440203

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!