码迷,mamicode.com
首页 > 其他好文 > 详细

?Tair 原理架构与案例分析

时间:2014-12-01 11:30:39      阅读:274      评论:0      收藏:0      [点我收藏+]

标签:tair

1、Tair是什么
       Tair 是一个类似于map的key/value结构存储系统(也就是缓存系统),具备标准的特性是:高性能、高扩展、高可靠,也就是传说中的三高产品,支持分布式集群部署。官网说目前支持java和c这两个版本。
       具体的是:高速缓存,并且支持内存存储和持久化存储。
2、Tair 集群现状
      2000个应用用户;
      Cache  服务器 
           650台
          千万级别的qps
          20T内存
     存储服务器
          150台
          百万级别的qps
          100T
3、一些特性
     ? Namespace 支持缓存命名空间
     ? Expire  支持自动缓存和终止缓存
     ? Prefix   支持缓存前缀  
     ? List,zset,hashmap,set ? LocalCache  支持各种集合缓存
     ? FlowControl  支持缓存流控制

4、Tari 概述

bubuko.com,布布扣

5、数据分布

bubuko.com,布布扣

6、mdb概述
     ? 类memcached,page/slab管理内存
     ? 共享内存,重启数据不丢
     ? area逻辑管理
          – area维度的quota与lru evict控制 – 清理某个area数据
     ? 数据过期
     ? 优化内存使用率,均衡slab ? 详细statistics监控

     mdb存储
bubuko.com,布布扣
Redis流程(存储)

bubuko.com,布布扣


7、 Rdb流程

bubuko.com,布布扣

  rdb概述
          ? 支持Redis所有数据结构 ? 设置限制
          – 内存quota ? logiclock
          – lazy 清理db数据
          ? 轻量化
          – 去除aof/vm
          – 精简数据结构
                    ? Restful协议
                    ? 持久化
          – 使用ldb作为rdb的持久化(TODO)
?     
8、ldb流程
bubuko.com,布布扣

9、LevelDB流程
bubuko.com,布布扣

10、ldb概述配置使用
          ? 多实例配置使用,充分利用IO
          ? 内嵌mdb作为KV级别cache
          ? 配置灵活化,参数调优
          – 适合大数据量的参数配置 (mmt/sst size,mmap限制,etc.)
          – 特定排序算法 (字节,数字,etc.)
         新功能
               ? 嵌入datafilter逻辑 – expiretime
               – 异步清理
                     主动触发compact
               – Level-n => Level-n compact,清理垃圾数据 – 高Level compact,加速range合并 (TODO)
                    ? 使用binlog做异步跨集群数据同步
          优化
?              ? 主动限制compact
                    – 限制写入放大
                    – 禁掉seek触发的compact
               ? 优化compact锁粒度
                    – 减弱数据量增长对读写的性能影响
               ? 大数据量导入FastDump
                    – 数据预排序,按桶分memtable
?
?11、应用案例
        案例1
bubuko.com,布布扣
 案例2
bubuko.com,布布扣
 案例3
bubuko.com,布布扣
 案例4
bubuko.com,布布扣
 案例5
bubuko.com,布布扣
12、线上案例
     ? 秒杀/捉猫猫/抢红包
               ? 瞬时访问量大
     ? 天猫实时推荐
               ? 数据量大,允许丢失
               ? 20000 read / 20000 write
     ? 计数器
     ? 读写比相当
13、总结
  Tair 本身是一个非常轻量级的缓存应用。并且支持高并发,是一个性能的缓存框架,比开源的缓存框架要好一些的。 
        关于Tair另一篇文章是详细的说明Tair 
    [分享]Tair缓存系统学习 (数据结构存储系统) http://blog.csdn.net/wendeliang06/article/details/20483127

?Tair 原理架构与案例分析

标签:tair

原文地址:http://blog.csdn.net/wendeliang06/article/details/41643851

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!