码迷,mamicode.com
首页 > 系统相关 > 详细

Memcached完全解剖–1. memcached基金会

时间:2015-10-02 12:34:41      阅读:334      评论:0      收藏:0      [点我收藏+]

标签:

翻译一篇技术评论社的文章,是讲memcached的连载。fcicq同学说这个东西非常实用,希望大家喜欢。

发表日:2008/7/2 
作者:长野雅广(Masahiro Nagano) 
原文链接:http://gihyo.jp/dev/feature/01/memcached/0001

我是mixi株式会社开发部系统运营组的长野。 日常负责程序的运营。从今天開始。将分几次针对近期在Web应用的可扩展性领域 的热门话题memcached,与我公司开发部研究开发组的前坂一起。 说明其内部结构和使用。

memcached是什么?

memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。

如今已成为 mixi、 hatena、 Facebook、 Vox、LiveJournal等众多服务中 提高Web应用扩展性的重要因素。

很多Web应用都将数据保存到RDBMS中,应用server从中读取数据并在浏览器中显示。 但随着数据量的增大、訪问的集中,就会出现RDBMS的负担加重、数据库响应恶化、 站点显示延迟等重大影响。

这时就该memcached大显身手了。

memcached是高性能的分布式内存缓存server。 一般的使用目的是,通过缓存数据库查询结果,降低数据库訪问次数。以提高动态Web应用的速度、 提高可扩展性。

技术分享

图1 普通情况下memcached的用途

memcached的特征

memcached作为快速执行的分布式缓存server,具有下面的特点。

  • 协议简单
  • 基于libevent的事件处理
  • 内置内存存储方式
  • memcached不互相通信的分布式

协议简单

memcached的serverclient通信并不使用复杂的XML等格式, 而使用简单的基于文本行的协议。因此,通过telnet 也能在memcached上保存数据、取得数据。

以下是样例。

$ telnet localhost 11211
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is ‘^]‘.
set foo 0 0 3 (保存命令)
bar (数据)
STORED (结果)
get foo (取得命令)
VALUE foo 0 3 (数据)
bar (数据)

协议文档位于memcached的源码内,也能够參考下面的URL。

基于libevent的事件处理

libevent是个程序库,它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能 封装成统一的接口。即使对server的连接数添加。也能发挥O(1)的性能。 memcached使用这个libevent库。因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。

关于事件处理这里就不再具体介绍,能够參考Dan Kegel的The C10K Problem。

内置内存存储方式

为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。 因为数据仅存在于内存中,因此重新启动memcached、重新启动操作系统会导致所有数据消失。 另外,内容容量达到指定值之后,就基于LRU(Least Recently Used)算法自己主动删除不使用的缓存。 memcached本身是为缓存而设计的server,因此并没有过多考虑数据的永久性问题。

关于内存存储的具体信息。本连载的第二讲以后前坂会进行介绍,请届时參考。

memcached不互相通信的分布式

memcached虽然是“分布式”缓存server,但server端并没有分布式功能。

各个memcached不会互相通信以共享信息。

那么。如何进行分布式呢? 这全然取决于client的实现。本连载也将介绍memcached的分布式。

技术分享

图2 memcached的分布式

接下来简介一下memcached的用法。

安装memcached

memcached的安装比較简单。这里稍加说明。

memcached支持很多平台。

  • Linux
  • FreeBSD
  • Solaris (memcached 1.2.5以上版本号)
  • Mac OS X

另外也能安装在Windows上。这里使用Fedora Core 8进行说明。

memcached的安装

执行memcached须要本文开头介绍的libevent库。Fedora 8中有现成的rpm包, 通过yum命令安装就可以。

$ sudo yum install libevent libevent-devel

memcached的源码能够从memcached站点上下载。本文执笔时的最新版本号为1.2.5。 Fedora 8尽管也包括了memcached的rpm。但版本号比較老。由于源码安装并不困难。 这里就不使用rpm了。

memcached安装与一般应用程序同样。configure、make、make install即可了。

$ wget http://www.danga.com/memcached/dist/memcached-1.2.5.tar.gz
$ tar zxf memcached-1.2.5.tar.gz
$ cd memcached-1.2.5
$ ./configure
$ make
$ sudo make install

默认情况下memcached安装到/usr/local/bin下。

memcached的启动

从终端输入下面命令,启动memcached。

$ /usr/local/bin/memcached -p 11211 -m 64m -vv
slab class 1: chunk size 88 perslab 11915
slab class 2: chunk size 112 perslab 9362
slab class 3: chunk size 144 perslab 7281
中间省略
slab class 38: chunk size 391224 perslab 2
slab class 39: chunk size 489032 perslab 2
<23 server listening
<24 send buffer was 110592, now 268435456
<24 server listening (udp)
<24 server listening (udp)
<24 server listening (udp)
<24 server listening (udp)

这里显示了调试信息。这样就在前台启动了memcached,监听TCPport11211 最大内存使用量为64M。调试信息的内容大部分是关于存储的信息, 下次连载时详细说明。

作为daemon后台启动时,仅仅需

$ /usr/local/bin/memcached -p 11211 -m 64m -d

这里使用的memcached启动选项的内容例如以下。

选项 说明
-p 使用的TCPport。

默觉得11211

-m 最大内存大小。

默觉得64M

-vv 用very vrebose模式启动。调试信息和错误输出到控制台
-d 作为daemon在后台启动

上面四个是经常使用的启动选项。其它还有非常多。通过

$ /usr/local/bin/memcached -h

命令能够显示。很多选项能够改变memcached的各种行为。 推荐读一读。

用client连接

很多语言都实现了连接memcached的client,当中以Perl、PHP为主。 只memcached站点上列出的语言就有

  • Perl
  • PHP
  • Python
  • Ruby
  • C#
  • C/C++
  • Lua

等等。

这里介绍通过mixi正在使用的Perl库链接memcached的方法。

使用Cache::Memcached

Perl的memcachedclient有

  • Cache::Memcached
  • Cache::Memcached::Fast
  • Cache::Memcached::libmemcached

等几个CPAN模块。这里介绍的Cache::Memcached是memcached的作者Brad Fitzpatric的作品, 应该算是memcached的client中应用最为广泛的模块了。

使用Cache::Memcached连接memcached

以下的源码为通过Cache::Memcached连接刚才启动的memcached的样例。

#!/usr/bin/perl

use strict;
use warnings;
use Cache::Memcached;

my $key = "foo";
my $value = "bar";
my $expires = 3600; # 1 hour
my $memcached = Cache::Memcached->new({
servers => ["127.0.0.1:11211"],
compress_threshold => 10_000
});

$memcached->add($key, $value, $expires);
my $ret = $memcached->get($key);
print "$ret\n";

在这里,为Cache::Memcached指定了memcachedserver的IP地址和一个选项,以生成实例。

Cache::Memcached经常使用的选项例如以下所看到的。

选项 说明
servers 用数组指定memcachedserver和port
compress_threshold 数据压缩时使用的值
namespace 指定加入到键的前缀

另外。Cache::Memcached通过Storable模块能够将Perl的复杂数据序列化之后再保存。 因此散列、数组、对象等都能够直接保存到memcached中。

保存数据

向memcached保存数据的方法有

  • add
  • replace
  • set

它们的用法都同样:

my $add = $memcached->add( ‘键‘, ‘值‘, ‘期限‘ );
my $replace = $memcached->replace( ‘键‘, ‘值‘, ‘期限‘ );
my $set = $memcached->set( ‘键‘, ‘值‘, ‘期限‘ );

向memcached保存数据时能够指定期限(秒)。

不指定期限时,memcached依照LRU算法保存数据。 这三个方法的差别例如以下:

选项 说明
add 仅当存储空间中不存在键同样的数据时才保存
replace 仅当存储空间中存在键同样的数据时才保存
set 与add和replace不同,不管何时都保存

获取数据

获取数据能够使用get和get_multi方法。

my $val = $memcached->get(‘键‘);
my $val = $memcached->get_multi(‘键1‘, ‘键2‘, ‘键3‘, ‘键4‘, ‘键5‘);

一次取得多条数据时使用get_multi。

get_multi能够非同步地同一时候取得多个键值, 其速度要比循环调用get快数十倍。

删除数据

删除数据使用delete方法。只是它有个独特的功能。

$memcached->delete(‘键‘, ‘堵塞时间(秒)‘);

删除第一个參数指定的键的数据。

第二个參数指定一个时间值,能够禁止使用相同的键保存新数据。

此功能能够用于防止缓存数据的不完整。可是要注意,set函数忽视该堵塞。照常保存数据

增一和减一操作

能够将memcached上特定的键值作为计数器使用。

my $ret = $memcached->incr(‘键‘);
$memcached->add(‘键‘, 0) unless defined $ret;

增一和减一是原子操作。但未设置初始值时,不会自己主动赋成0。因此, 应当进行错误检查。必要时增加初始化操作。并且,server端也不会对 超过2<sup>32</sup>时的行为进行检查。

总结

这次简介了memcached。以及它的安装方法、PerlclientCache::Memcached的用法。 仅仅要知道,memcached的用法十分简单就足够了。

下次由前坂来说明memcached的内部结构。了解memcached的内部构造, 就能知道怎样使用memcached才干使Web应用的速度更上一层楼。

欢迎继续阅读下一章。

原版的:http://kb.cnblogs.com/page/42731/;

版权声明:本文博主原创文章,博客,未经同意不得转载。

Memcached完全解剖–1. memcached基金会

标签:

原文地址:http://www.cnblogs.com/hrhguanli/p/4852085.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!