基于OCS实现高速缓存

标签：

OCS简介

OCS( Open Cache Service）为分布式高速缓存服务，主要实现热点数据的快速响应； OCS支持Key/Value的数据结构，兼容memcachebinary protocol且支持SASL的客户端都可与服务端通信。 OCS 支持即开即用的方式快速部署；业务系统的时延和吞吐量受限于数据的更新和获取，常见的解决方案是在业务层和持久化层之间增加缓存层，从而降低持久化层的压力，提高系统整体的反应速度。 与自建memcached相同之处在于OCS兼容memcached协议，与用户环境兼容，可直接用于OCS服务。 不同之处在于硬件和数据部署在云端，有完善的基础设施、网络安全保障、系统维护服务。所有的这些服务，都不需要投入额外运维资源和成本，只需根据使用量进行付费即可。

产品特点

1.     性能优越。采用内存 SSD的部署方案，通过内存为用户提供数据访问，响应时间大为缩短； 2.     服务可靠。当某台服务器宕机时，集群将在10s内恢复服务，用户当前的客户端自动重连后即可恢复服务； 3.     数据持久。用户所有KV键值都会分散到集群中保存2份数据，单一服务器损毁不会丢失数据； 4.     安全保障。OCS仅提供内网访问，为ECS和RDS的用户提供高速缓存服务，可以避免外部攻击； 5.     弹性部署。用户可根据需要在线购买OCS实例，并即时开通服务，无需购买硬件；当业务规模发生变化时，又可在线变更实例快速部署； 6.     管理透明。阿云的OCS团队负责OCS产品的管理，包括日常维护、软硬件故障处理、补丁更新等工作，保障服务的健康有效；

7.     兼容性。兼容memcache binaryprotocol，符合该协议的客户端(binary   SASL)都可使用OCS。

其它

1.   本文重在说明如何使用OCS作出高质量的设计，也作了一些OCS原理介绍。但有关开发技术相关的内容，开发者还需要参考具体memcached client的API规范。 2.   因为memcached client众多，为方便理解，使用memcached协议元操作名称指代客户端方法名称，实际可能会被客户端增减或修改。 3.   OCS实际上是以memcached协议封装的Tair，但本文不要求读者具有memcached和Tair的基础。 4.   除另有说明外，本文中的“缓存对象”包含Key和Value两部分。

技术分析

基本架构

OCS是通过在Tair系统上封装memcached协议而成。以一次访问为例：首先云服务器发起memcached请求到OCS，其次负载均衡 (LVS)到某台memcached的代理服务器(Proxy)上，再次Proxy把memcached请求转换为Tair请求，最后由Tair集群完成 实际的高速存取功能。架构如下图：

名词说明 1.   Tair：是一个高性能、分布式、可扩展、高可靠的Key/Value结构存储系统。该项目由阿里巴巴开发并在集团内部广泛使用的缓存服务，也是淘宝的开源项目之一。 http://tair.taobao.org/。 2.   Memcached：是一个高性能的分布式内存对象的Key/Value缓存系统，用于应用以减轻数据库负载，现在也有很多人将它作为内存式数据库在使用，memcached通过它的自定义协议与客户端交互，而有众多的各种常见语言的客户端实现。 http://www.memcached.org/ 3.   负载均衡集群，是OCS服务的入口； 4.   Proxy：Tair客户端，同时把memcached转变为Tair的代理服务；

对业务方来说，可以直接购买OCS服务，也可以自建缓存集群。两者对比如下：

功能特性

配额

OCS服务按实例为单位进行计费，目前只支持预付费。实例规格以空间大小区分，最小为128M，最大为10G，中间划分若干档。说明如下： 1.   缓存空间指的是Key和Value的总占用空间，以Byte为单位。 2.   每用户可最大购买的实例个数不限。每个实例的属性是空间大小，OCS会对每个空间大小有固定对应的连接数、QPS和带宽限定。 3.   云服务器和OCS之间是内网流量，且多用户共享。为减少用户间的互相影响，带宽与空间绑定，但不作为计费项。 4.   Key最大为1K，Key Value最大为1M；缓存对象越小，业务系统的并发度越高，最好小于10K。过大的缓存对象会影响对业务系统的并发度(会占用较大带宽，导致降低QPS上限)，也是设计需要优化的征兆。 5.   缓存空间的配额检查频率是分钟级，所以实际使用在短时间内可能会超出购买空间。当超过购买空间后，OCS会按非严格的LRU(LeastRecently Used)算法释放部分数据项。

数据过期和释放

缓存中的数据不会永久保存在OCS中。从技术层面来说，OCS对象有三种失效方式： 1.   Delete。如果要立即删除缓存对象，可以显式调用delete方法。 2.   LazyExpiration。OCS内部不会扫描缓存对象是否过期，而是在Get时查看缓存对象的时间戳，检查记录是否过期，这种技术被称为 Lazy（惰性）Expiration。LRU(Least Recently Used)。OCS会优先使用已超时的对象的空间，但也会发生添加新对象时空间不足的情况，此时就会自动触发名为 LRU机制来分配空间。为了性能高效，OCS的LRU算法，能够做到相对准确，但不是十分严格。

数据过期是OCS的自动删除缓存对象的机制，它既确保了数据的新鲜度，又保证了开发模型的简单化。当更新缓存数据(Set、Add、 Replace)时，可针对每个缓存对象设置超时时间(expire)，以指定这个对象在OCS中存活多长时间。如果没有提供超时时间，expire默认 为0，即永不过期，也可指定为相对时间和绝对时间。 在某些场景下，单独更新对象的超时时间(Touch)或读对象的同时也更新超时时间(GetAndTouch)可能是需要的。

expire参数规则(Set、Add、Replace、Touch、GetAndTouch)：

注意：GetAndTouch暂未开放

设置显式过期时间

仔细斟酌/调试OCS缓存中的到期时间设置十分重要。较长的过期时间具有若干潜在缺点。首先，如果缓存的源对象更改很频繁，则缓存的版本可能会变得 陈旧。通过将过期时间设置为更短的值，您可以强制应用程序按适当的间隔刷新缓存的对象。此外，较长的过期时间可能会导致用不再使用的项填充缓存。在典型情 况下，最近最少使用 (LRU) 的项将被逐出，以便为新缓存的对象腾出空间。如果过期时间太长，则始终满的缓存会导致很难了解您实际需要的内存量。因此，很难确定缓存空间大小是否满足业 务的需要。 但是，如果设置太短的过期时间，则可能会让缓存所带来的好处大打折扣。因此，考虑正确的过期时间值很重要。实际上，过期时间的选择跟具体业务和缓存数据类型有很大关系。 除非特殊场景，把过期时间指定为永不过期不是一种好的做法。

高可用性

服务总体可用性为99.9%。Tair集群的数据引擎为ldb，持久存储采用SSD。 1.   保证被缓存对象的持久性，内存和SSD两级存储机制； 2.   不同物理机上的双份冗余存储； a)    一台机器失效后，自动由集群中其它机器接管服务； b)    一份数据丢失后，可由另一份自动恢复到故障前的数据状态； 3.   同一地区内共用一个OCS集群，目前不支持跨地域的冗余。

虽然OCS提供高可性保证，但需要认识到在缓存数据存在过期、或被LRU逐出的可能性。另外，极端情况下，甚至OCS整体不可用或缓存数据全部丢失 是可能发生的。Caching只是提升性能和可扩展性的手段之一，系统应能够独立于OCS运行，把OCS当做持久化存储也是不明智的。

OCS是业务系统中进行合适的错误处理，对系统的高可用有很大帮助。参见本文“错误处理”章节。

并发性

和memcached一样，OCS提供两种同步模式： 1.   原子递增或者递减(incr/decr)，适用于32位无符号整数的更新； 2.   CAS操作，适用于任意对象的操作。

CAS协议通过compare and set来实现原子更新，是一种“乐观同步模型”。OCS基于Tair，其中存储的每个数据都有版本号(cas值，2字节无符号整数)，版本号在每次更新后 都会递增。每次存储数据同时要附带一个版本号，OCS比对这个版本号与当前存储数据的版本号是否相等，如果相等就让新的数据覆盖老的数据，如果不相等就认 为更新失败，这在并发环境下特别有用。CAS更新其实是分为两个步骤：获取CAS值和尝试更新。在一般的客户端实现中都支持CAS协议，使用方法参见相应 客户端的使用说明。

OCS的版本号(cas值)的改变逻辑如下： 1.   如果增加新数据且没有指定版本号，会自动将版本设置成1； 2.   如果是更新老数据且没有指定版本号，或者与传入版本号与当前版本一致，版本号自增1； 3.   如果是更新老数据且传入版本号与当前版本不一致，更新失败，返回错误。 4.   如果是传入版本号参数为0，表示强制更新，版本号自增1。

OCS使用注意事项： 1.   在同步的场景，增加新数据时，传入的版本号必须是大于客户端的个数(例如1000)，且要保证所有客户端是相同逻辑。因为传入0，会被认为是强制覆盖；而传入1，则与第1个客户端写成功的版本号冲突，以此类推。 2.   对于多数不需要同步的场景，直接使用非cas方法；或传入0，直接进行强制更新。 3.   同步错误返回中包含错误码0×0005( Item notstored)和CAS值。0×0005是memcachebinary protocol的约定，具体的客户端可能会有自己独特的错误码或异常。

安全性

由于OCS的多租户共享特性，它采用SASL和访问主体限制两方面的安全机制来保证OCS的数据安全。只有来源于特定云服务器，且通过密码验证的用户才能获得对特定实例的访问授权。分别说明如下： 1.   SASL。SASL全称SimpleAuthentication and Security Layer，是一种用来扩充C/S模式验证能力的机制。memcached从1.4.3版本开始，支持SASL认证。由于OCS的多租户共享特性，也采用 SASL作为鉴权机制。SASL本质上是使用密码保证的缓存数据安全，建议采用强密码和定期修改密码的策略； 2.   访问源限制。包含两方面： a)    访问源必须来源于是阿里云内网的云服务器； b)    访问源IP地址白名单。(目前未支持)

错误处理

虽然OCS错误码与memcached兼容，但因为网络错误和OCS的错误会被memcachedclient封装或转换为自身独特的错误码或异常，所以开发者需要学习具体客户端的开发技术。 OCS封装了memcachedclient的分布式管理功能，是一个完整的分布式缓存系统，所以针对内部的可恢复错误，会自动进行恢复，不会传播到 OCS之外(例如Tair中某节点失效时，与OCS的网络连接也不会受影响)。除了连接OCS服务时可能发生的网络异常外，OCS服务可能会给 memcachedclient返回下表所列错误：

注：随着memcached的发展，错误码也会有调整，以上仅供参考。

一般情况下，OCS的返回错误是持久性的故障，错误处理一般是中止当前逻辑、记录错误日志等操作，而不应该反复重试。因为网络或自身软件故障等原因，OCS也存在失效的可能，所以全面的故障处理对业务整体可用性至关重要。 但OCS也可能会返回暂时性错误，此时的重试逻辑对于健壮性就十分重要。如果重试反复失败，还是需要执行其它故障排除操作。 下表列出了部分错误的建议处理方式：

本地缓存(LocalCache)

1.   本地缓存能够避免因为频繁访问的对象而对OCS进行反复的网络请求。(带宽、网络IO、Socket连接)。 2.   本地缓存能够避免与此传输相关联的反序列化成本。

   

 1 package com.aliyun.ocs.demo; import net.spy.memcached.AddrUtil;
 2 importnet.spy.memcached.ConnectionFactoryBuilder; importnet.spy.memcached.ConnectionFactoryBuilder.Protocol;
 3 import net.spy.memcached.MemcachedClient; import net.spy.memcached.auth.AuthDescriptor;
 4 importnet.spy.memcached.auth.PlainCallbackHandler; importnet.spy.memcached.internal.OperationFuture;
 5 import java.io.IOException;
 6 importjava.util.concurrent.ExecutionException;
 7 public class Main {     public static voidmain(final String[] args) {
 8 MemcachedClientmc = null;         try{
 9 //指定验证机制，推荐PLAIN，             //部分客户端存在协议BUG，只能使用PLAIN协议(PlainCallbackHandler)
10 AuthDescriptorad = new AuthDescriptor(new String[]{“PLAIN”}, new PlainCallbackHandler(“ocstestuser”,”ocstestpaswd”)); // 用户名，密码             mc= new MemcachedClient(new ConnectionFactoryBuilder()
11 .setProtocol(Protocol.BINARY)// 指定使用Binary协议，必须                     .setAuthDescriptor(ad)
12 .build(),AddrUtil.getAddresses(“m.ocs.aliyun.com:11211″));//访问地址
13 OperationFuture<Boolean>future = mc.set(“Hello”, 0, “OCS”); //异步接口，返回Future             future.get();// future.get() 确保之前(mc.set())的操作已经结束
14 System.out.println(mc.get(“Hello”));        }catch (IOException e) {
15 e.printStackTrace();        }catch (InterruptedException e) {
16 e.printStackTrace();        }catch (ExecutionException e) {
17 e.printStackTrace();        }finally {
18 if(mc != null) {                mc.shutdown();// 关闭，释放资源
19 }        }
20 } }

1 $memcached = new Memcached;
2 // 关闭压缩存储，increment和decrement不能针对已经压缩的数据操作 $memcached->setOption(Memcached::OPT_COMPRESSION,false);
3 // 使用二进制协议 $memcached->setOption(Memcached::OPT_BINARY_PROTOCOL,true);
4 // 连接服务器 $memcached->addServer(‘m.ocs.aliyun.com’,11211);
5 // 设置用户名和密码 $memcached->setSaslAuthData(‘ocstestuser’,‘ocstestpaswd’);
6 $memcached->get(‘xxxxx’);

 1 using System; using System.Collections.Generic;
 2 using System.Text; using Enyim.Caching.Configuration;
 3 using System.Net; using Enyim.Caching.Memcached;
 4 using Enyim.Caching; namespace OcsApp
 5 {     class Program
 6 {         staticvoid Main(string[] args)
 7 {             MemcachedClientConfigurationconfig = new MemcachedClientConfiguration();
 8 IPAddressnewaddress = Dns.GetHostEntry(“m.ocs.aliyun.com”).AddressList[0];             IPEndPointipEndPoint = new IPEndPoint(newaddress, 11211);
 9 //配置文件 ? ip             config.Servers.Add(ipEndPoint);
10 //配置文件 ? 协议             config.Protocol= MemcachedProtocol.Binary;
11 //配置文件-权限             config.Authentication.Type= typeof(PlainTextAuthenticator);
12 config.Authentication.Parameters["zone"]= “”;             config.Authentication.Parameters["userName"]= “10086″;
13 config.Authentication.Parameters["password"]= “abc”;             //实例化memcache客户端
14 using(MemcachedClient memcache = new MemcachedClient(config))             {
15 boolsuccess = memcache.Store(StoreMode.Set, “my_net_key”,”abc”);                 Console.WriteLine(success);
16 stringstr = Convert.ToString(memcache.Get(“my_net_key”));                 Console.WriteLine(str);
17 memcache.Dispose();            }
18 Console.Read();        }
19 } }

基于OCS实现高速缓存

标签：

原文地址：http://www.cnblogs.com/lzjsky/p/5001210.html