码迷,mamicode.com
首页 > 系统相关 > 详细

Memcached高性能内存对象缓存系统

时间:2018-08-27 15:27:22      阅读:235      评论:0      收藏:0      [点我收藏+]

标签:ip地址配置   大型   bin   stat   集群   mysql数据库   deb   设置   mcrypt   

一、Memcached概述
  • Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。
  • 传统数据都保存在关系型数据库管理系统中(RDBMS关系型数据库管理系统),客户端请求时会从RDBMS中读取数据并在浏览器中显示,这样当访问量过大时或集中时,导致RSBMS负担过重,数据库响应恶化,浏览器中显示延迟等严重问题
  • Memcached 是一套分布式内存对象缓存系统,主要通过缓存数据库查询结果,减少数据库访问次数,以提高动态 Web 应用的响应速度、提高可扩展性

二、Memcached缓存方式


  • 与APC等本地缓存方式不同,Memcached是分布式的,也就是说它不是本地的;它基于网络连接(当然它也可以使用localhost)方式完成服务,本身它是一个独立于应用的程序或守护进程(Daemon方式)
  • Memcached使用libevent库(程序库,封装了linux的epoll、BSD类操作系统的kqueue等事件处理功能)实现网络连接服务,理论上可以处理无限多的连接,但是它和Apache不同,它更多的时候是面向稳定的持续连接的,所以它实际的并发能力是有限制的;在保守情况下memcached的最大同时连接数为200,这和Linux线程能力有关系,当然这个数值是可以调整的
  • Memcached内存使用方式也和APC不同。APC是基于共享内存和MMAP(将一个文件或者其它对象映射进内存)的,memcachd有自己的内存分配算法和管理方式,它和共享内存没有关系,也没有共享内存的限制,通常情况下,每个memcached进程可以管理2GB的内存空间,如果需要更多的空间,可以增加进程数
    技术分享图片

1.Memcached内存算法

  • Memcached使用[slab allocation][1]机制分配和管理内存,按照预先规定的大小,将分配的内存分割成特定长度的内存块,再把尺寸相同的内存块分成组,数据在存放时,根据键值大小去匹配slab大小,找就近的slab存放

2.Memcached缓存策略

  • LRU(最近最少使用)加上到期失效策略,当在memcached内存储数据项时,可指定它在缓存的失效时间,默认为永久;当memcached服务器用完分配的内存时,失效的数据被首先替换,然后是最近未使用的数据
  • LRU中,memcached使用的是一种Lazy Expiration策略(为给定key设置生存时间,当key过期时(生存时间为 0),它会被自动删除),自己不会监控存入的key/vlue对是否过期,而是在获取key值时查看记录的时间戳,检查key/value对空间是否过期,这样可减轻服务器的负载

3.Memcached失效策略

Lazy expiration + LRU

  • Lazy expiration作用:假如所存储的数据项相当多的时候,在这时候进行监控的话,花费的代价是相当大的,所以memcached不会在过期监视上耗费过多的CPU时间,从而在性能方面也起到一定的优化作用
  • LRU:memcached会优先使用已超时的空间,但是还是会有追加信息时空间不足的状态,这时候会使用Least Recently Used(LRU)机制来分配空间,就从最近未被使用的记录中搜索,并将其空间分配给新的记录

4.Memcached分布式算法

当向memcached集群存入/取出key/value时,memcache客户端会根据一定算法计算存入那台服务器(第一步:选择服务器,第二步:存取数据)

  • 余数算法:先求得键的整数散列值,再除以服务器数量,根据余数存储那台服务器(特点:简单、高效;但是扩展性差,服务器数量变更时,几乎所有的缓存都会失效)
  • 散列算法:先计算memcached的散列值,并将其分布在0—2^32的圆上,然后用同样的方法算出存储数据键的散列值并映射至圆上,最后从数据映射到的位置开始顺顺时针查找,将数据保存在查找到的第一台服务器,如果超过2^32还是找不到,则将数据保存在第一台memcached服务器上;如果添加一台memcached服务器,则只在圆上添加的逆时针方向的第一台服务器上的键会受到影响
    一次性哈系原理

技术分享图片

添加一台服务器后

技术分享图片

三、Memcached使用场景


  • Memcached应使用在需要"分布式"场合,不需要"共享"的或服务器规模小都不适用;如果将Memcached用于向本地缓存方式使用,速度比PHP的APC慢几十倍
  • 一般Memcached都用于作为数据库前端Cache(减少磁盘开销、SQL解析),并且Memcached是使用内存缓存数据的,比用户直接访问数据库拥有更高的性能,那么在大型系统中,如访问数据频繁的,Memcached可大大降低数据库压力、提高效率
  • 并且Memcached不光用于数据库缓存,除了php中的资源不能存,其它的数据都能存储(字符串、数值、数组、对象、布尔值、null、二进制(图片、视频))
    注:但注意,由于Memcached使用内存缓存,而内存拥有易失性(断电数据丢失),因此Memcached不能持久保存数据
  • 那么Memcached瓶颈在哪里呢?Memcached瓶颈在于网络,由于Memcached采用"分布式",需要大量数据交换,所以网络带宽会经常满负荷
  1. Memcached不适用于PV不大的网站
  2. Memcached不适用于数据改动频繁,但数据一改动就需要入库的情况
  3. Memcached适用于数据改动频繁、查询频繁的情况
  4. Memcached适用于数据库改动不频率、查询频繁的情况

四、Memcached原理


1.Memcached无缓存

  • 客户端访问Web服务器
  • Web服务器调用Memcache客户端程序库接口,连接Memcached服务器
  • 如果Memcached没有缓存客户端所请求数据,则Memcache客户端程序将请求转发到数据库服务器
  • 数据库服务器将数据返回给Memcache客户端程序
  • Memcache客户端程序收到数据后会通过分布式算法决定将数据缓存到指定Memcached服务器,以供下次使用
  • Memcached缓存完毕后,Memcache客户端程序将数据返回给Web客户端,Web客户端再将数据返回给客户端

技术分享图片

2.Memcached有缓存

  • 客户端访问Web服务器
  • Web服务器调用Memcache客户端程序库接口,连接Memcached服务器
  • 当Memcached中缓存客户端所需数据,则Memcached将数据库返回给Memcache客户端程序
  • Memcache客户端再将数据交给Web服务器
  • Web服务器将数据返回给客户端

技术分享图片

Memcached会在内存里维护一张巨大的hash表,存储经常被读写的一些数组与文件,在Server端启动服务进程,在启动时可以指定监听的ip,自己的端口号,所使用的内存大小等几个关键参数(采用了单进程,单线程,异步I/O,基于事件 (event_based) 的服务方式)使用libevent作为事件通知实现;每个Server只是对自己的数据进行管理Client端通过指定Server端的ip地址;数据以key -->value形式,key的值通过hash进行转换,然后通过分布式算法确定对哪台Sever存储/获取数据

五、案例:LAMP+Memcached


主机 系统 IP 网卡 软件
LAMP+Memcache(Client) Centos 6.7 64Bit 192.168.1.10 vmnet1 LAMP、memcache
Memcached(Server) Centos 6.7 64Bit 192.168.1.100 vmnet1 libevent memcached

Memcached(Server)

1.环境准备(Memcached)

vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0                             //网卡名称
TYPE=Ethernet                           //网卡类型为以太网
ONBOOT=yes                          //开机自启该网卡
NM_CONTROLLED=no                        //关闭NetworkManager
BOOTPROTO=static                        //网卡设置为静态方式
IPADDR=192.168.1.100                    //IP地址配置
NETMASK=255.255.255.0                   //子网掩码配置
/etc/init.d/network restart     //重启网络服务

2.安装memcached(Memcached)

安装libevent
libevent是memcached 所依赖的异步时间通知库,作为Memcached的依赖需要先完成安装

tar -zxvf libevent-1.4.9-stable.tar.gz -C /usr/src/
cd /usr/src/libevent-1.4.9-stable/
./configure --prefix=/usr/local/libevent
make && make install

安装Memcached

tar -zxvf memcached-1.2.6.tar.gz -C /usr/src/
cd /usr/src/memcached-1.2.6/
./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent

选项:
--with-libevent:指定libevent事件库位置

make && make install
echo "PATH=$PATH:/usr/local/memcached/bin">>/etc/profile
source /etc/profile
memcached -d -m 32m -p 11211 -u root                //启动Memcached服务

参数说明:
-d:启动为守护进程
-m <num>:分配给Memcached使用的内存数量,单位是MB,默认为64MB
-u <username>:运行Memcached的用户,仅当作为root运行时
-l <ip_addr>:(小写L)监听的服务器IP地址,默认为环境变量INDRR_ANY的值
-p <num>:设置Memcached监听的端口,最好是1024以上的端口
-c <num>:设置最大并发连接数,默认为1024
-P <file>:设置保存Memcached的pid文件,与-d选择同时使用

注:启动过程中会出现"memcached : error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directory"错误,这是由于Memcached没有寻找到libevent库,需在系统中增加libevent库文件位置
解决方案:
vim /etc/ld.so.conf //打开系统额外加载库定义文件
/usr/local/libevent/lib //增加libevent事件库文件夹路径
ldconfig //重新读取/etc/ld.so.conf文件内容
memcached -d -m 32m -p 11211 -u root //无报错
netstat -utpln | grep 11211 //查看Memcahced监听端口

注:停止Memcached,可使用"pkill memcahced"及"killall memcached"等其它相关方式

LAMP+Memcache(Client)

1.环境准备(LAMP+Memcache)

vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0                             //网卡名称
TYPE=Ethernet                           //网卡类型为以太网
ONBOOT=yes                          //开机自启该网卡
NM_CONTROLLED=no                        //关闭NetworkManager
BOOTPROTO=static                        //网卡设置为静态方式
IPADDR=192.168.1.10                     //IP地址配置
NETMASK=255.255.255.0                   //子网掩码配置
/etc/init.d/network restart     //重启网络服务
yum -y install zlib-devel libxml2-devel libtool-ltdl-devel      //安装依赖包

2.安装LAMP(LAMP+Memcache)

安装httpd

rpm -e httpd httpd-manual webalizer subversion mod_python mod_ssl mod_perl system-config-httpd php php-cli php-ldap php-common mysql dovecot --nodeps
//忽略依赖关系卸载系统已安装的RPM包软件(如果有的话,最好输入确认下)
tar -zxvf httpd-2.2.17.tar.gz -C /usr/src/
cd /usr/src/httpd-2.2.17/
./configure --prefix=/usr/local/httpd --enable-so --enable-rewrite --enable-charset-lite --enable-cgi

选项:
--enable-so:启动动态加载模块支持
--enable-rewrite:启动网页地址重写功能
--enable-charset-lite:启用字符集支持,以支持使用各种字符集编码的网页
--enable-cgi:启用CGI脚本程序支持

make && make install
echo "PATH=$PATH:/usr/local/httpd/bin">>/etc/profile
source /etc/profile
cp /usr/local/httpd/bin/apachectl /etc/init.d/httpd
vim /etc/init.d/httpd
\# chkconfig:35 67 55
\# description: Apache Service
chkconfig --add httpd

安装MySQL

rpm -e mysql-server mysql           /卸载使用RPM方式安装MySQL软件包
yum -y install ncurses-devel cmake  //安装依赖软件包
useradd -M -s /sbin/nologin mysql   //新建程序用户并加入mysql组,不允许登陆系统
tar -zxvf mysql-5.5.22.tar.gz -C /usr/src/
cd /usr/src/mysql-5.5.22/
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_EXTRA_CHARSETS=all -DSYSCONFDIR=/etc

选项:
-DCMAKE_INSTALL_PREFIX:指定MySQL安装位置
-DDEFAULT_CHARSET:指定默认字符集编码
-DDEFAULT_COLLATION:指定默认使用字符集校对规则
-DWITH-EXTRA-CHARSETS:指定额外支持的其他字符集编码
-DSYSCONFDIR:配置文件存储位置

make && make install
chown -R mysql:mysql /usr/local/mysql/
cp support-files/my-medium.cnf /etc/my.cnf
/usr/local/mysql/scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/             //执行初始化脚本

选项:
--user:指定运行用户
--basedir:指定MySQL数据库位置
--datadir:指定MySQL数据存储位置

echo "PATH=$PATH:/usr/local/mysql/bin">>/etc/profile
//添加MySQL到搜索路径,方便执行命令
source  /etc/profile                    //立即让profile文件内容生效
cp support-files/mysql.server /etc/init.d/mysqld
//拷贝服务脚本文件到/etc/rc.d/init.d位置
chmod +x /etc/init.d/mysqld
chkconfig --level 35 mysqld on
/etc/init.d/mysqld start 或 service mysqld start
netstat -utpln | grep mysqld

安装PHP加密工具

rpm -e php php-cli php-ldap php-common php-mysql --nodeps
//忽略依赖关系卸载系统已安装的RPM包软件(如果有的话,最好输入确认下)
tar -zxvf libmcrypt-2.5.8.tar.gz -C /usr/src/
cd /usr/src/libmcrypt-2.5.8/
./configure && make && make install
ln -s /usr/local/lib/libmcrypt.* /usr/lib/
tar -zxvf mhash-0.9.9.9.tar.gz -C /usr/src/
cd /usr/src/mhash-0.9.9.9/
./configure && make && make install
ln -s /usr/local/lib/libmhash.* /usr/lib/
tar -zxvf mcrypt-2.6.8.tar.gz -C /usr/src/
cd /usr/src/mcrypt-2.6.8/
export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
./configure && make && make install

安装PHP

tar -zxvf php-5.3.28.tar.gz -C /usr/src/
cd /usr/src/php-5.3.28/
./configure --prefix=/usr/local/php --with-mcrypt --with-apxs2=/usr/local/httpd/bin/apxs --with-config-file-path=/usr/local/php --enable-mbstring --with-mysql=/usr/local/mysql/

选项:
--with-mcrypt:加载数据加密等扩展工具支持
--with-apxs2:设置Apache HTTP Server提供的apxs模块支持程序的文件位置
--with-config-file-path:设置PHP的配置文件php.ini将要存放的位置
--enable-mbstring:启动多字节字符串功能,以便支持中文等代码
--with-mysql:设置MySQL数据库服务程序的安装位置

make && make install

PHP配置(LAMP+Memcache)

cp /usr/src/php-5.3.28/php.ini-development /usr/local/php/php.ini
//拷贝PHP模板文件到PHP工作目录
vim /usr/local/php/php.ini
        226  short_open_tag = On        //允许识别PHP短语法标记,即<?...?>
        784  default_charset = "utf-8"  //设置默认字符集为utf-8,注意删除前面";"
tar -zxvf ZendGuardLoader-php-5.3-linux-glibc23-x86_64.tar.gz  -C /usr/src/
cd /usr/src/ZendGuardLoader-php-5.3-linux-glibc23-x86_64/
cp php-5.3.x/ZendGuardLoader.so /usr/local/php/lib/php/
vim /usr/local/php/php.ini
zend_extension=/usr/local/php/lib/php/ZendGuardLoader.so
zend_loader.enable=1
vim /usr/local/httpd/conf/httpd.conf
        310 AddType application/x-httpd-php .php
        167 DirectoryIndex index.php index.html
httpd -t
/etc/init.d/httpd start
vim /usr/local/httpd/htdocs/test1.php               //测试PHP网页能否正确显示
<?php
phpinfo();
?>
vim /usr/local/httpd/htdocs/test3.php
<?php
        $link=mysql_connect(‘localhost‘,‘root‘,‘‘);
        if($link) echo "恭喜你,数据库连接成功啦!";
        mysql_close();
        ?>

3.安装Memcache(LAMP+Memcache)

tar -zxvf memcache-2.2.7.tgz -C /usr/src/
cd /usr/src/memcache-2.2.7/
/usr/local/php/bin/phpize               //根据系统信息生成对应的configure文件

若出现报错:
……
Cannot find autoconf. Please check your autoconf installation and the $PHP_AUTOCONF environment variable. Then, rerun this script.
解决方法:
yum -y install autoconf
注:以上为解决方案,只当执行"/usr/local/php/bin/phpize"报错时使用

./configure --enable-memcache --with-php-config=/usr/local/php/bin/php-config
make && make install
Build complete.
Don‘t forget to run ‘make test‘.
Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/      //复制扩展目录
vim /usr/local/php/php.ini
        819 extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/"      //指定目录
        820 extension = memcache.so                             //启动扩展模块
/etc/init.d/httpd restart
vim /usr/local/httpd/htdocs/test2.php
<?php
$memcache = new Memcache();
        $memcache->connect(‘192.168.1.100‘,11211);
$memcache->set(‘key‘,‘Memcache test successful!‘,0,60);
        $result = $memcache->get(‘key‘);
 unset($memecache);
        echo $result;
?>
//测试调用memcache程序接口来测试memcached服务器与客户端系统工作是否正常

六、Memcached的使用


Memcached每个被存取的对象都有唯一的标识符key,存取操作均通过key进行,例如可以把后端数据库中的select操作提取出来,然后对相应的SQL进行hash计算得出key,然后以这个key在memcached中查找数据,如果数据不存在,说明其尚未被写入缓存中,缓存不存在时将key存储在缓存中,并设置一个失效时间(比如1小时),在失效时间内的数据都是从缓存中提取,这样就有效地减少了数据库的压力
数据存取命令:

  • set:保存一个数据到服务器上,如已存在则覆盖
  • add:添加一个数据到服务器,但是服务器必须这个key是不存在的,能够保证数据不会被覆盖
  • replace:替换一个已经存在的数据,如果数据不存在,就是类似set功能
  • get:格式是:get <键>key;一个不为空的字符串组合,发送这个指令以后,等待服务器的返回;如果服务器端没有任何数据,则返回"END",证明没有不存在这个key,没有任何数据,如果存在数据,则返回指定格式:VALUE <键><标记><数据长度>
  • delete:删除指令;delete <键><超时时间><超时时间> - timeout
  • flush_all:这个指令执行后,服务器上所有缓存的数据都被删除,并且返回
  • stats:显示当前所有 Memcache 服务器运行的状态信息

如果只是想获取部分项目的信息,可以指定参数,格式:stats <参数>:这个指令将只返回指定参数的项目状态信息
参数:

stats
        Pid:memcache 服务器的进程 ID
        uptime:服务器已经运行的秒数
        Time:服务器当前的 unix 时间戳
        version:memcache 版本
        pointer_size:当前操作系统的指针大小(32 位系统一般是 32bit)
        rusage_user:进程的累计用户时间
        rusage_system:进程的累计系统时间
        curr_items:服务器当前存储的 items 数量
        Total_items:从服务器启动以后存储的 items 总数量
        Bytes:当前服务器存储 items 占用的字节数
        curr_connections:当前打开着的连接数
        Total_connections:从服务器启动以后曾经打开过的连接数
        connection_structures:服务器分配的连接构造数
        cmd_get:get 命令(获取)总请求次数
        cmd_set:set 命令(保存)总请求次数
        get_hits:总命中次数
        get_misses:总未命中次数
        evictions:为获取空闲内存而删除的items数(分配给memcache的空间用满后需要删除旧的items来得到空间分配给新的items)
        Bytes_read:总读取字节数(请求字节数)
        Bytes_written:总发送字节数(结果字节数)
        Limit_maxbytes:分配给 memcache 的内存大小(字节)
        threads:当前线程数   
quit:退出

1.案例(Memcached)

yum -y install telnet
telnet 192.168.1.100 11211          //连接Memcached的11211端口
        Trying 192.168.1.100...
        Connected to 192.168.1.100.
        Escape character is ‘^]‘.
set key 0 60 2
he                      //设置保存key的值
        STORED                  //服务器返回结果,该处代表保存成功
get key                 //获取key对应的键值
        VALUE key 0 2
        he
        END
stats                   //显示当前所有 Memcache 服务器运行的状态信息
        STAT pid 12863          //memcached 启动的进程 ID
        STAT uptime 4008        //到目前为止启动了多少秒
        STAT time 1464713917    //Unix时间(从1970年1月1日开始统计的秒数)
        STAT version 1.2.6      //memcached 的版本信息
        STAT pointer_size 64        //当前操作系统的指针大小
        STAT rusage_user 0.278957   //进程的累计用户时间
        STAT rusage_system 0.371943 //进程的累计系统时间
        STAT curr_items 1               //服务器当前存储的items数量
        STAT total_items 2          //从服务器启动以后存储的items总数量
        STAT bytes 79               //当前服务器存储items占用的字节数
        STAT curr_connections 2     //当前的并发连接数
        STAT total_connections 4        //总的连接数
        STAT connection_structures 3    //服务器分配的连接构造数
        STAT cmd_get 2              //执行 get 命令的次数
        STAT cmd_set 2              //执行 set 命令的次数
        STAT get_hits 2             //get 的命中次数
        STAT get_misses 0           //get 的非命中数
        STAT evictions 0                //为获取空闲内存而删除的 items 数
        STAT bytes_read 98          //总读取字节数(请求字节数)
        STAT bytes_written 97           //总发送字节数(结果字节数)
        STAT limit_maxbytes 33554432 //允许使用的最大内存容量
        STAT threads 1              //当前线程数
        END
quit                            //退出
        Connection closed by foreign host.

2.总结

错误
Memcache 的协议的错误部分主要是三个错误提示之提示指令

  • 普通错误信息:ERROR
  • 客户端错误:CLIENT_ERROR <错误信息>
  • 服务器端错误:SERVER_ERROR <错误信息>

数据保存指令

  • 数据保存是基本的功能,就是客户端通过命令把数据返回过来,服务器端接收后进行处理

指令格式

  &lt;命令&gt;&lt;键&gt;&lt;标记&gt;&lt;有效期&gt;&lt;数据长度&gt;

set key 0 60 10

服务器端的返回

  • 数据保存成功(STORED)
  • 数据保存失败(NOT_STORED),一般是因为服务器端这个数据key已经存在了
  • set后如无任何返回,一般为设置的数据长度未使用完,服务器等待使用完毕

Memcached高性能内存对象缓存系统

标签:ip地址配置   大型   bin   stat   集群   mysql数据库   deb   设置   mcrypt   

原文地址:http://blog.51cto.com/13770206/2164928

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!