Spark中的shuffle是在干嘛？Shuffle在Spark中即是把父RDD中的KV对按照Key重新分区，从而得到一个新的RDD。也就是说原本同属于父RDD同一个分区的数据需要进入到子RDD的不同的分区。但这只是shuffle的过程，却不是shuffle的原因。为何需要shuffle呢？Shuf...
分类：
其他好文 时间：
2015-09-11 14:03:48
阅读次数：
252
原理1核心组件Memcached有两个核心组件组成：服务端（ms）和客户端（mc）。首先mc拿到ms列表，并对key做hash转化，根据hash值确定kv对所存的ms位置。然后在一个memcached的查询中，mc先通过计算key的hash值来确定kv对所处在的ms位置。当ms确定后，客户端就会发送...
分类：
系统相关 时间：
2015-09-09 11:01:22
阅读次数：
228
丰富的数据结构使得redis的设计非常的有趣。不像关系型数据库那样，DEV和DBA需要深度沟通，review每行sql语句，也不像memcached那样，不需要DBA的参与。redis的DBA需要熟悉数据结构，并能了解使用场景。
下面举一些常见适合kv数据库的例子来谈谈键值的设计，并与关系型数据库做一个对比，发现关系型的不足之处。
用户登录系统
记录用户登录信息的一个...
分类：
其他好文 时间：
2015-08-28 23:23:08
阅读次数：
337
1、概述
Hbase是一个分布式的、面向列的开源的kv数据库。
在2006年发起，是BigTable的山寨产品，07年成为Hadoop的子项目。在10年成为Apache的顶级项目。
众多社区的参与使得Hbase逐渐完善，在很多公司中使用。
Hbase的稳定性一直是个问题，但是使用它的还是很多。主要是因为其实际的存储模型能够与实际的业务匹配程度高相关的。
...
分类：
其他好文 时间：
2015-08-27 18:44:21
阅读次数：
183
一、前言 Tair支撑了淘宝几乎所有系统的缓存信息（Tair = Taobao Pair，Pair即Key-Value键值对），内置了三个存储引擎：mdb（默认，类似于Memcache）、rdb（类似于Redis）、ldb（高性能KV存储），其中前2者定...
分类：
其他好文 时间：
2015-08-18 12:27:22
阅读次数：
265
简介libubox是openwrt新版本中的一个基础库，在openwrt1407中有很多应用程序是基于libubox开发的。（如：uhttpd,odhcpd,libubus等）。libubox主要提供一下两种功能：1、提供一套基于事件驱动的机制。2、提供多种开发支持接口。（如：链表、kv链表、平衡查找二叉树、md5、json）..
分类：
其他好文 时间：
2015-08-17 19:56:42
阅读次数：
858
Leveldb是一个google实现的非常高效的kv数据库，是单进程的服务，能够处理十亿级别规模Key-Value型数据，占用内存小。 ? ? ?基于可复制LevelDB的集群方案，需要引入ZooKeeper。根据ZooKeeper的使用方式可以分为...
分类：
数据库 时间：
2015-08-17 12:21:27
阅读次数：
509
Bitcask模型是一种日志型kv模型。所谓日志型，是指它不直接支持随机写入，而是像日志一样支持追加操作。Bitcask模型将随机写入转化为顺序写入。任意时刻，系统中只有一个数据文件支持写入，称为active data file。其余的数据文件都是只读文件，称为older data file。即所有...
分类：
其他好文 时间：
2015-08-06 21:55:45
阅读次数：
413
现在的KV存储系统都是分布式的，首先介绍Zookeeper——针对大型分布式系统的高可靠的协调系统。
分类：
其他好文 时间：
2015-07-30 18:59:21
阅读次数：
121
