memcachedb-持久化存储的缓存系统

标签：

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。

memcached是一套分布式的快取系统，当初是Danga Interactive为了LiveJournal所发展的，但目前被许多软件（如MediaWiki）所使用。这是一套开放源代码软件，以BSD license授权释出。[1] 　　memcached缺乏认证以及安全管制，这代表应该将memcached服务器放置在防火墙后。[1] 　　memcached的API使用三十二位元的循环冗余校验（CRC-32）计算键值后，将资料分散在不同的机器上。当表格满了以后，接下来新增的资料会以LRU机制替换掉。由于memcached通常只是当作快取系统使用，所以使用memcached的应用程式在写回较慢的系统时（像是后端的数据库）需要额外的程式码更新memcached内的资料[1] 　　memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。 　　这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。 　　Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站更快的运行速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。但是它并不提供冗余（例如，复制其hashmap条目）；当某个服务器S停止运行或崩溃了，所有存放在S上的键/值对都将丢失。 　　Memcached由Danga Interactive开发，其最新版本发布于2010年，作者为Anatoly Vorobey和Brad Fitzpatrick。用于提升LiveJournal . com访问速度的。LJ每秒动态页面访问量几千次，用户700万。Memcached将数据库负载大幅度降低，更好的分配资源，更快速访问。

特征　　memcached作为高速运行的分布式缓存服务器，具有以下的特点。 　　· 协议简单 　　· 基于libevent的事件处理 　　· 内置内存存储方式 　　· memcached不互相通信的分布式
协议
　　memcached的服务器客户端通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。 　　因此，通过telnet也能在memcached上保存数据、取得数据。下面是例子。 　　$ telnet localhost 11211 　　Trying 127.0.0.1... 　　Connected to localhost.localdomain (127.0.0.1). 　　Escape character is ‘^]‘. 　　set foo 0 0 3 （保存命令） 　　bar （数据） 　　STORED （结果） 　　get foo （取得命令） 　　VALUE foo 0 3 （数据） 　　bar （数据）
事件处理
　　libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥O(1)的性能。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。关于事件处理这里就不再详细介绍，可以参考Dan Kegel的The C10K Problem。
存储方式
　　为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。
通信分布式
　　memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。本文也将介绍memcached的分布式。功能　　一个用PHP编写的可视化的MemCached管理系统 　　MemAdmin是一款可视化的Memcached管理与监控工具，使用PHP开发，体积小，操作简单。 　　主要功能： 　　服务器参数监控：STATS、SETTINGS、ITEMS、SLABS、SIZES实时刷新 　　服务器性能监控：GET、DELETE、INCR、DECR、CAS等常用操作命中率实时监控 　　支持数据遍历，方便对存储内容进行监视 　　支持条件查询，筛选出满足条件的KEY或VALUE 　　数组、JSON等序列化字符反序列显示 　　兼容memcache协议的其他服务，如Tokyo Tyrant (遍历功能除外) 　　支持服务器连接池，多服务器管理切换方便简洁使用技巧　　许多语言都实现了连接memcached的客户端，其中以Perl、PHP为主。仅仅memcached网站上列出 　　的语言就有 　　· Perl 　　· PHP 　　· Python 　　· Ruby 　　· C# 　　· C/C++ 　　· Lua 　　等等。 　　如何使用memcached-Server端 　　在服务端运行： 　　# ./memcached -d -m 2048 -l 10.0.0.40 -p 11211 　　这将会启动一个占用2G内存的进程，并打开11211端口用于接收请求。由于32位系统只能处理4G内存的寻址，所以在大于4G内存使用PAE的32位服务器上可以运行2-3个进程，并在不同端口进行监听。 　　如何使用memcached-Client端 　　在应用端包含一个用于描述Client的Class后，就可以直接使用，非常简单。 　　PHP Example: 　　$options["servers"] = array("192.168.1.41:11211", "192.168.1.42:11212"); 　　$options["debug"] = false; 　　$memc = new MemCachedClient($options); 　　$myarr = array("one","two", 3); 　　$memc->set("key_one", $myarr); 　　$val = $memc->get("key_one"); 　　print $val[0]."\n"; // prints ‘one‘ 　　print $val[1]."\n"; // prints ‘two‘ 　　print $val[2]."\n"; // prints 3版本发布　　2012年02月03日，Memcached 1.4.13 发布。[2] 　　2012年08月02日，Memcached 1.4.14 发布。[3] 　　2012年09月05日，Memcached 1.4.15 发布。[4]

memcachedb-持久化存储的缓存系统
memcachedb故名思义就是 memcached + bdb，是基于memcached Socket层和berkeley-db存储层结构的实现， 是新浪互动社区技术团队2007年的一项重大的技术成果，现在应用于新浪互动社区多个产品线中，其中包括新浪博客等重头产品。能够实现任意memcache api的调用、数据实时落地以及主辅实时备份。

选择memcachedb：没 有什么特殊的原因，我们有最好的理由就是，在做到最大不牺牲数据读、写性能的前提下，我们能够让您原来存储在memcache里的数据不再遭受系统宕机或 者系统掉电而丢失，即使服务器电源爆炸了，只要硬盘还能够正常工作，换到另外一台服务器上，您的数据依然安然无恙地在硬盘上。

性能：我们做过小数据测试，小数据（几十个字节）数据的读写，每秒钟并发能够维持在5000+(单块146Scis硬盘，CPU和内存配置几乎可以忽略因为这不是性能瓶颈)。基本上满足所有互联网高效存储的应用。

应用场合：需 要频繁读写的小数据。例如数字类服务就像点击数，需要频繁写入小数据的例如评论系统，需要记录用户状态的例如在线人数以及在线用户等等。当然，如果您想用 来存储单笔超过10K以上的数据，例如新闻或者文章或者论坛帖子也可以，但是我们没有尝试过，如果您真的用来这样子玩了，可以反馈给我。

数据备份&&读写分离：memcachedb支持主辅实时无差异同步，配置主服务和辅服务仅仅需要很短的一条启动命令。当然，您也可以利用这一便利特性来实现读写分离，那样子会让您的系统更加的高效。

稳定性：memcachedb目前被应用于新浪互动社区多个产品线中，具有钢铁般的品质。

缺点：memcached不支持内存对象的遍历操作，当然更加不能支持复杂的查询操作，只能支持根据已知的key去查询对应的value。但后续我会介绍另外一个东东memcache_engine，它为mysql提供了一个memcached引擎。

一、安装
直接在memcached-1.2.2.tar.gz找到INSTALL文件，按照步骤安装就行了。很简单。

二、启动
#第一种，读写合并模式，即不做辅拷贝，即读又写，不做冗余备份
memcachedb -p21211 -d -r -u root -H /data/mdb_11211 -N

#第二种，读写分离/备份模式
#主服务器 192.168.0.1 读写监听 11211 ，同步通过31211的端口完成，不占用繁忙的主服务端口
memcachedb -p21211 -d -r -u root -H /data/mdb_11211_m -N -R 127.0.0.1:31211 -M

# 辅服务器 192.168.0.2 只读监听 21212，从192.168.0.1 的 31211端口同步数据，同时再开一个31212端口对外提供数据同步服务
memcachedb -p21212 -d -r -u root -H /data/mdb_11211_from_16801_s -O 192.168.0.1:31211 -R 192.168.0.2:31212 -S

memcachedb-持久化存储的缓存系统

标签：

原文地址：http://www.cnblogs.com/codersay/p/4301669.html