五、Tindex 数果智能根据开源的方案自研了一套数据存储的解决方案，该方案的索引层通过改造Lucene实现，数据查询和索引写入框架通过扩展Druid实现。既保证了数据的实时性和指标自由定义的问题，又能满足大数据量秒级查询的需求，系统架构如下图，基本实现了文章开头提出的几个目标。 (点击放大图像) ...
分类：
Web程序 时间：
2017-03-02 16:41:44
阅读次数：
414
（一）、微博功能概况 微博用户账号注册 微博用户登录 微博发布 添加微博好友（粉丝） 微博推送 微博冷数据写入mysql数据库 （二）、redis数据结构设计 这节分享微博用户注册与登录：我们完全采用redis作为数据库来实现注册于登录先来看一下redis数据结构的设计： 注册用户表：user se ...
分类：
Web程序 时间：
2016-06-07 20:39:14
阅读次数：
215
一、表不存在时则创建 之前做项目实在是太赶了，很多东西都没记录。是时候补回来了 MySQL做一个大表，由于要存历史记录，所以数据量很大，查询很慢。恰好查询的时候，又不需要时间太久的冷数据。现在将其实现原理提取成一个控制台小程序。 首先，创建一个简单的数据库访问类。 由于是按分钟分表，所以写个定时器， ...
分类：
数据库 时间：
2016-04-21 18:22:58
阅读次数：
849
前言在当今每日信息量巨大的社会中,源源不断的数据需要被安全的存储.等到数据的规模越来越大的时候,也许瓶颈就来了,没有存储空间了.这时候怎么办,你也许会说,加机器解决,显然这是一个很简单直接但是又显得有些欠缺思考的办法.无谓的加机器只会带来无限上升的成本消耗,更好的办法应该是做到更加精细化的数据存储与管理,比如说非常典型的冷热数据的存储.对于巨大的长期无用的冷数据而言,应该用性能偏弱,但是磁盘空间富余...
分类：
其他好文 时间：
2016-04-05 17:49:32
阅读次数：
260
我们可以对系统存储使用的数据以两种角度分类，一种是按数据的大小划分，分成大数据和小数据，另一种是按数据的冷热程度划分，分成冷数据和热数据，热数据是指读或写比较频繁的数据，反之则是冷数据。 可以举一些具体的例子来说明数据的大小和冷热属性。比如网站总的注册用户数，这明显是一个小而热的数据，小是因为这.....
分类：
其他好文 时间：
2015-09-29 16:23:21
阅读次数：
137
①支持48核的CPU，而5.5支持24核的CPU②
内存热数据持久化，我们知道当系统重启或者mysql进程重启后，Innodb的内存池里面的热数据全部清空，需要重新把磁盘的数据缓存进来，然后根据
LRU最近最少使用原则，把热数据保持在内存里，冷数据踢出到磁盘里。这个过程是缓慢的。5.6里..
分类：
数据库 时间：
2015-09-12 01:06:02
阅读次数：
1262
CacheTiering的基本思想是冷热数据分离，用相对快速/昂贵的存储设备如SSD盘，组成一个Pool来作为Cache层，后端用相对慢速/廉价的设备来组建冷数据存储池。CephCacheTieringAgent处理缓存层和存储层的数据的自动迁移，对客户端透明操作透明。Cahe层有两种典型使用模式：1）Write..
分类：
系统相关 时间：
2015-04-01 20:11:13
阅读次数：
319
1、redis中的缓存数据并不是都在内存中，redis在maxmemory或vm开启并且vm-max-memory到达上限时出发置换操作用swap机制将部分value对象（冷数据）转移至磁盘，同时将redisobj替换成VM pointer对象，标识value值在磁盘的存储位置，分有阻塞跟非阻塞机制...
分类：
系统相关 时间：
2014-12-10 22:47:56
阅读次数：
228
HGST(西部数据集团旗下子公司昱科环球存储科技公司)针对中国数据中心决策者的一项调查显示，98%的受访者相信，如果数据能够被有效存储，那么所有数据都有价值。企业信息化所做的所有工作、企业向云计算的转型、大数据的应用等，无非都是为了更好地利用数据，并从中获取价值。HG..
分类：
其他好文 时间：
2014-12-01 19:26:28
阅读次数：
201
在现在的数据中心中，应用程序到存储设备的I/O路径都特别长，其中包括很多的层次或者说是stages，具体是怎样的可以点击这里，而且这些层次之间的接口还是不透明的(就像隧道)，这使得要enforce一个end-to-end的policy (比如对于不同的tenant，需要不同的存储带宽，比如热数据和冷数据，比如存储服务的不同等级的客户)很难（相对于软件定义网络的控制逻辑而言，因为网络包的头部很好处理）。相对于SDN的OpenFlow，这里设计了IOFlow，在hypervisor阶段和storage serv...
分类：
其他好文 时间：
2014-11-07 14:50:03
阅读次数：
279
