码迷,mamicode.com
首页 > 其他好文 > 详细

一个缓存容灾写的例子

时间:2014-09-30 19:50:00      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:缓存   容灾   

背景     

     有时我们可以使用缓存进行容灾的处理。场景如下:我们当前有一个专门提供各种数据的应用DataCore,该应用开放多个RFC方法供其他应用使用。
bubuko.com,布布扣
bubuko.com,布布扣     我们平时在读写数据时,会在Cache备份一份(为平时DataCore提高响应速度、降低DB、CPU压力所用),当DB挂掉的时候,Cache还可以用来容灾。使用缓存容灾的好处是:性能足够好,坏处是缓存可比数据库成本高多了。
     让我们想象得更猛烈些,当DataCore整个挂掉的时候,A、B、C、D方怎么才能安然的运行下去?
     我们可以在A、B、C、D端上提供DataCore的缓存容灾服务,这样,即使在DataCore整个挂掉的情况下,其他应用也不会受影响。
bubuko.com,布布扣
bubuko.com,布布扣

要考虑的几个问题

  1. 容灾读的部分不必说,对象原本在存入缓存时就根据类型分了区域,读的时候直接在相应的区域取出即可。容灾写的话,针对同一类型对象的写操作,如何将这些对象集合在一块,待DataCore恢复后,再将容灾写过的对象覆盖到DB。
  2. 缓存的写操作必须是线程安全的

详细设计

     缓存容灾写的一种可能策略是:针对每种类型的对象在缓存中开辟一大段储存空间(数组方式或者数组链接结合方式),然后把每个容灾写的对象塞进这段空间内,在要覆写回DB时,直接从头到尾在缓存里把对象取出来即可。示意图如下:
bubuko.com,布布扣
bubuko.com,布布扣
      上面这种设计缺点是需要一大片的连续的储存空间,对于缓存来说,这是要命的。缓存的底层储存机制就是基于分散的hash。
     上面设计的一种改进方案是,我们只在连续空间中储存UserDO的唯一标示符,比如id或者key什么的。这样我们的就不需要那么大的连续空间了。示意图如下:
bubuko.com,布布扣
bubuko.com,布布扣
     更进一步,我们可以把UserDO的id也分散储存。可以利用一个DisasterIndexDO储存每一个类型的容灾写的信息,利用beginIndex以及currentIndex字段为所有容灾写对象打上一个序号,在缓存中储存该序号与对象id的对应关系,然后我们就可以通过序号检索出id,再通过id检索出对象。示意图如下:
bubuko.com,布布扣
bubuko.com,布布扣
     在多个调用方在对某一类型的对象进行容灾写操作时,只需要对DisasterIndexDO进行安全的并发访问即可,抢占currentIndex,然后再进行缓存的写操作。这样,我们的容灾写就实现了。
     

范例实现

//index对象
public class DisasterIndexDO implements Serializable {
     
private static final long serialVersionUID = -8688243351154917184L;
     public int namespace;
     public int beginIndex;
     public int currentIndex;
     public long expireLockTime;
     public static final long DEFAULT_EXPIRE_TIME = 50; // 当序列被锁时间超时,防止死锁
     
     public DisasterIndexDO(int namespace, int bIndex, int cIndex, long expireLockTime) {
        this.namespace = namespace;
        this.beginIndex = bIndex;
        this.currentIndex = cIndex;
        this.expireLockTime = expireLockTime;
     }
}

//容灾实现类
public class DisasterCacheHandler {
     RemoteCache remoteCache;

     private  final int DS_CACHE_NAMESPACE = 67; 
     private  final int DS_WRITE_REPETECOUNT = 3;
     private  final int DISASTER_INDEX = 250;
     private  final String DISASTER_KEYS = "disaster_keys";
//容灾读
    public Object dsGetRemoteData(int namespace, String key){
         return remoteCache.get(DS_CACHE_NAMESPACE, namespace+key);
    }
    
    //本地同步的namespace
     private Map<Integer, Object> synNamespace = new 
           HashMap<Integer, Object>();
     //容灾写
     protected boolean dsWriteRemoteData(int namespace, 
          String key, Serializable value) {

          //先把数据写入缓存
          remoteCache.put(this.DS_CACHE_NAMESPACE, namespace+key, value);
          //本地同步的NameSpace
          if (!this.synNamespace.containsKey(Integer.valueOf(namespace))) {
                this.synNamespace.put(Integer.valueOf(namespace), namespace);
          }
          // update the Namespace Index and namespace disaster key queue
          synchronized (this.synNamespace.get(namespace)){
               int count = this.DS_WRITE_REPETECOUNT;
               DisasterIndexDO index = null;
               do {
                    count--;
                     // try to lock Namespace Index
                     int rc = remoteCache.lock(this.DISASTER_INDEX, 
                         String.valueOf(namespace));
                    // Namespace Index not exist
                    if ( rc == 2 ) {
                         // Initialize Namespace Index
                         index = new DisasterIndexDO(namespace, 1, 1, 
                              System.currentTimeMillis());
                         remoteCache.put(this.DISASTER_INDEX, 
                              String.valueOf(namespace), index);
                 // for each namespace should handle disaster, keep the only index object
                         remoteCache.put(namespace, 
                              this.DISASTER_KEYS + index.currentIndex, key);
                         return true;
                    } else if (rc == 0) { // lock failure
                         index = (DisasterIndexDO)remoteCache.
                                   get(this.DISASTER_INDEX, String.valueOf(namespace));
                    // 如果鎖已經超時,則解开,避免在访问缓存时死住的情况
                         if (System.currentTimeMillis() - index.expireLockTime >           
                                   DisasterIndexDO.DEFAULT_EXPIRE_TIME) {
                                        remoteCache.unLock(this.DISASTER_INDEX, 
                                             String.valueOf(namespace));
                                   continue;
                          }
                         continue;
                   } else if (rc == 1) { // lock success
                         try {
                              index = (DisasterIndexDO)remoteCache.get(this.DISASTER_INDEX,  
                                        String.valueOf(namespace));
                              // update locked Namespace Index
                              int curIdx = index.currentIndex + 1;
                              remoteCache.delete(this.DISASTER_INDEX, 
                                        String.valueOf(namespace));
                              remoteCache.put(this.DISASTER_INDEX, String.valueOf(namespace), 
                                   new DisasterIndexDO(namespace, index.beginIndex, curIdx, 
                                        System.currentTimeMillis()));
                              // keep key of this Namespace with current index
                              remoteCache.put(namespace, this.DISASTER_KEYS + curIdx, key);
                              return true;
                         }  catch (Throwable e ) {
                         } finally {
                              // unlock and handle unlock failure 
                              remoteCache.unLock(this.DISASTER_INDEX, 
                                   String.valueOf(namespace));
                         }
                   }
             } while (count >= 0);
            if (count <= 0) {
                 return false;
            }
        }
    }
}

一个缓存容灾写的例子

标签:缓存   容灾   

原文地址:http://blog.csdn.net/troy__/article/details/39698731

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!