在这篇文章中，你将会对在HBase中可用的数据备份机制有一个高层次的简要了解，并且知道多种数据恢复/容灾机制。在阅读了这篇文章之后，你应该能对你的业务需要那种BDR策略有了自己的判断。你也应该明白各种机制各自的优缺点（适用于CDH 4.3.0/HBase 0.94.6及更高版本）。备份HBase是一... ...
分类：
其他好文 时间：
2017-06-22 12:13:03
阅读次数：
233
数据平台架构图 HDFS：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HD ...
分类：
其他好文 时间：
2017-06-09 14:04:51
阅读次数：
127
转载请出自出处:http://www.cnblogs.com/hd3013779515/ 我们基于Solr4.10.3版本进行安装配置SolrCloud集群，通过实践来实现索引数据的分布存储和检索。 一、准备工作 1.服务器 solrcloud01 192.168.137.171 solrcloud... ...
分类：
其他好文 时间：
2017-05-21 01:02:24
阅读次数：
418
一、概述 在分布式环境下，开发者通常会遇到一些分布存储的场景，例如数据库的分库分表（比如用户id尾号为1的放入数据库1，id尾号为2的放入数据库2）；又如分布式缓存数据的获取（比如根据ip地址进行缓存数据的分布存放）。在这种情况下，如何快速的将数据放入指定的位置，又如何快速获取是个最基本的要求，对于 ...
分类：
编程语言 时间：
2017-04-08 11:18:52
阅读次数：
289
1、key-value数据结构 2、所有数据保存在内存中 3、可以分布式集群 4、处理并发的机制是libevent事件机制 5、当内容容量达到指定值后，就基于LRU（Least Recently Used）算法自动删除不使用的缓存，再添加新的数据。 LRU 最早使用时间 6、当关闭memcache服 ...
分类：
其他好文 时间：
2016-11-12 01:40:28
阅读次数：
258
redis的集群 redis如何进行扩容？ 数据分片如何管理？ 主从复制的读写切换？ 一、 什么是集群 ? Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。 ? Redis 集群通过分区（partition）来提 ...
分类：
其他好文 时间：
2016-11-05 03:02:04
阅读次数：
326
普通存储： DAS:直连式存储。 NAS:连接式存储。 SAN:存储网络。 大文件分布存储： GFS:Google File System(Google文件系统). HDFS: Hadoop Distributed File System(Hadoop分布式文件系统). 小文件分布存储： ADFS: ...
分类：
其他好文 时间：
2016-10-08 09:36:23
阅读次数：
187
过某种特定的条件，将存放在同一个数据库中的数据分散存放到多个数据库上，实现分布存储，通过路由规则路由访问特定的数据库，这样一来每次访问面对的就不是单台服务器了，而是N台服务器，这样就可以降低单台机器的负载压力。提示：sqlserver 2005版本之后，可以友好的支持“表分区”。 垂直(纵向)拆分： ...
分类：
数据库 时间：
2016-08-17 22:49:59
阅读次数：
279
MapReduce数据流 Hadoop的核心组件在一起工作时如下图所示： 图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务，每一个mapp ...
分类：
其他好文 时间：
2016-04-30 12:53:37
阅读次数：
126
1）处理的数据比较大，而且数据都是分布存储在datanode中。 2）由于数据量比较大，而java程序比较小，所以将程序放到每一个数据节点上执行会节省数据传输的时间。而且可以实现并行计算，提高效率。 mapreduce分为两个阶段：程序在每个节点上的计算和最终结果的汇总。 上面两步是map阶段 3）...
分类：
其他好文 时间：
2016-01-03 18:14:42
阅读次数：
126
