码迷,mamicode.com
首页 > 其他好文 > 详细

怎样用虚拟机搭建varnish及varnish的基本应用

时间:2014-05-13 00:45:42      阅读:393      评论:0      收藏:0      [点我收藏+]

标签:management   中小企业   代理服务器   虚拟机   计算机   

Varnish

 是web缓存、代理服务器,单个并发访问量在5000个左右,因此它适合中小企业的规模。

Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一,他认为现在的计算机比起1975年已经复杂许多。在1975年时,储存媒介只有两种:内存与硬盘。但现在计算 机系统的内存除了主存外,还包括了cpu内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以得知这些情况,所以这部份的工作应该交给操作系统处理,这就是 Varnish cache设计架构

   Varnish与一般服务器软件类似,分为master(management)进程和child(worker,主要做cache的工作)进程。master进程读入命令,进行一些初始化,然后fork并监控child进程。child进程分配若干线程进行工作,主要包括一些管理线程和很多woker线程。

   针对文件缓存部分,master读入存储配置(-s file[,path[,size[,granularity]]] ),调用合适的存储类型,然后创建/读入相应大小的缓存大文件。接着,master初始化管理该存储空间的结构体。这些变量都是全局变量,在fork以后会被child进程所继承(包括文件描述符)。

在child进程主线程初始化过程中,将前面打开的存储大文件整个mmap到内存中(如果超出系统的虚拟内存,mmap失败,进程会减少原来的配置mmap大小,然后继续mmap),此时创建并初始化空闲存储结构体,挂到存储管理结构体,以待分配。

   接着,真正的工作开始,Varnish的某个负责接受新HTTP连接的线程开始等待用户,如果有新的HTTP连接过来,它总负责接收,然后叫醒某个等待中的线程,并把具体的处理过程交给它。Worker线程读入HTTP请求的URI,查找已有的object,如果命中则直接返回并回复用户。如果没有命中,则需要将所请求的内容,从后端服务器中取过来,存到缓存中,然后再回复。

   分配缓存的过程是这样的:它根据所读到object的大小,创建相应大小的缓存文件。为了读写方便,程序会把每个object的大小变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找,找到最合适的大小的空闲存储块,分配给它。如果空闲块没有用完,就把多余的内存另外组成一个空闲存储块,挂到管理结构体上。如果缓存已满,就根据LRU机制,把最旧的object释放掉。

   释放缓存的过程是这样的:有一个超时线程,检测缓存中所有object的生存期,如果超初设定的TTL(Time To Live)没有被访问,就删除之,并且释放相应的结构体及存储内存。注意释放时会检查该存储内存块前面或后面的空闲内存块,如果前面或后面的空闲内存和该释放内存是连续的,就将它们合并成更大一块内存。

整个文件缓存的管理,没有考虑文件与内存的关系,实际上是将所有的object都考虑是在内存中,如果系统内存不足,系统会自动将其换到swap空间,而不需要varnish程序去控制。

一、基本的IP配置

   主机                  ip

node1.edu.com        172.16.24.1 192.168.24.1

node2.edu.com        192.168.24.11

node3.edu.com        192.168.24.12

2)所需要的varnish安装包

varnish-3.0.4-1.el6.x86_64.rpm

varnish-docs-3.0.4-1.el6.x86_64.rpm

varnish-libs-3.0.4-1.el6.x86_64.rpm




3)配置服务

node1

配置两块网卡(172.16.24.1,192.168.24.1)

node2 (192.168.24.11)

yum install php php-mysql mysql-server

提供web页面并开启web服务

#im /var/www/html/index.html


#h1>node2.edu.com</h1>

#ervice httpd start


node3(192.168.24.12)


yum install php php-mysql mysql-server

提供web页面并开启web服务

#im /var/www/html/index.html


#h1>node3.edu.com</h1>

#ervice httpd start

4)在主机1 上安装varnish

[root@node1 ~]# rpm -ivh varnish*.rpm

Preparing...                ########################################### [100%]

  1:varnish-libs           ########################################### [ 33%]

  2:varnish                ########################################### [ 67%]

  3:varnish-docs           ########################################### [100%]



二、配置文件的意义


NFILES=131072     打开最大的文件数

MEMLOCK=82000      用多大内存空间来保存日志信息的

NPROCS="unlimited"  

RELOAD_VCL=1        重新读取服务时是否重新读取VCL并重新编译vcl文件

DAEMON_OPTS="-a :6081 \       指定监听的地 址和端口

#             -T localhost:6082 \ 管理连接所使用的地址和端口

#             -b localhost:8080 \

#             -u varnish -g varnish \

#             -s file,/var/lib/varnish/varnish_storage.bin,1G"   缓存类型

             -S           服务器端使用的指定密钥文件

VARNISH_VCL_CONF=/etc/varnish/default.vcl默认读取的vcl文件

VARNISH_LISTEN_PORT=80    监听的端口

VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1  管理接口所监听的地址

VARNISH_ADMIN_LISTEN_PORT=6082          管理接口监听的接口

VARNISH_SECRET_FILE=/etc/varnish/secret  使用的密钥文件

VARNISH_MIN_THREADS=50   最少线程数

VARNISH_MAX_THREADS=1000  最大线程数

VARNISH_THREAD_TIMEOUT=120  线程的超时时长

VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin基于文件存储时文件的路径

VARNISH_STORAGE_SIZE=1G   最大这个文件能有多大

VARNISH_STORAGE=    存储方式



1)编辑配置文件,定义varnish

[root@node1 varnish]#   vim /etc/sysconfig/varnish

VARNISH_LISTEN_PORT=80          #定义监听的端口

VARNISH_STORAGE="malloc,100M"   #定义使用内存来存储


2)启动服务

[root@node1 ~]# service varnish start

Starting varnish HTTP accelerator:                         [  OK  ]

[root@node1 ~]# ss -tnl

State       Recv-Q Send-Q                 Local Address:Port                   Peer Address:Port

LISTEN      0      128                               :::111                              :::*    

LISTEN      0      128                                *:111                               *:*    

LISTEN      0      128                               :::80                               :::*    

LISTEN      0      128                                *:80                                *:*    



3)定义单个后端服务器

#cd /etc/varnish/

#vim text.vcl

backend webser{

 .host = "192.168.24.11";

 .port = "80";

}


4)连接varnish

[root@node1 varnish]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082

200 201    

-----------------------------

Varnish Cache CLI 1.0

-----------------------------

Linux,2.6.32-431.el6.x86_64,x86_64,-smalloc,-hcritbit



varnish> vcl.load test1 text.vcl

200        

VCL compiled.

varnish> vcl.use test1

200  


5)查看服务是否连接bubuko.com,布布扣

三、定义vcl文件让varnish支持更多的功能

1)定义多台主机


backend web1 {

.host = "backweb1.magedu.com";

.port = "80";

}


director webservers random {

 .retries = 5;

 {

   .backend = web1;

   .weight  = 2;

 }

 {

   .backend  = {

     .host = "backweb2.magedu.com";

 .port = "80";

   }

.weight         = 3;

 }

}


backend web1{

 .host = "192.168.24.11";

 .port = "80";

}


backend web2 {

 .host = "192.168.24.12";

 .port = "80";

}

director webserves random {

    {

      .backend = web1;

      .weight = 2;

     }

    {

      .backend = web2;

      .weight = 3;

     }





sub vcl_recv {

   set req.backend = webserves;

   if (req.url ~ "test.html") {

           return(pass);

  }

           return(lookup);

}



2)设定是否命中

sub vcl_deliver {

       set resp.http.X-Age = resp.http.Age;

       unset resp.http.Age;


       if (obj.hits > 0) {

               set resp.http.X-Cache = “HIT”;

       } else {

               set resp.http.X-Cache = “MISS”;

       }

}

3)判断是哪个主机命中的


backend webser{

 .host = "192.168.24.11";

 .port = "80";

}

sub vcl_deliver {

       set resp.http.X-Age = resp.http.Age;

       unset resp.http.Age;


       if (obj.hits > 0) {

               set resp.http.X-Cache = "HIT from "+ server.ip;

       } else {

               set resp.http.X-Cache = "MISS";

       }

}

~




~                                                                                                                  

~ backend webser{

 .host = "192.168.24.11";

 .port = "80";

}


sub vcl_recv {

   if (req.url ~ "test.html") {

           return(pass);

  }

           return(lookup);

}


sub vcl_fetch {

   if (req.url ~ "\.(jpg|jpeg|gif|png)$") {

     set beresp.ttl = 7200s;

      }

   if (req.url ~ "\.(html|css|js)$")   {

     set beresp.ttl = 1200s;

  }

}




sub vcl_deliver {

       set resp.http.X-Age = resp.http.Age;

       unset resp.http.Age;


       if (obj.hits > 0) {

               set resp.http.X-Cache = "HIT from "+ server.ip;

       } else {

               set resp.http.X-Cache = "MISS";

       }

}                      









怎样用虚拟机搭建varnish及varnish的基本应用,布布扣,bubuko.com

怎样用虚拟机搭建varnish及varnish的基本应用

标签:management   中小企业   代理服务器   虚拟机   计算机   

原文地址:http://8519539.blog.51cto.com/8509539/1409419

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!