1.HBase基本介绍 HBase项目地址：http://hbase.apache.org/ HBase是Apache下的一个开源分布式Nosql存储数据库。基于列式存储，运行于HDFS分布式存储系统之上，参考Google的Bigtable论文实现。 HBase满足CAP定理中的CP。具体CAP.....
分类：
其他好文 时间：
2015-12-03 14:11:15
阅读次数：
138
hbase安装0. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理H....
分类：
系统相关 时间：
2015-12-01 16:22:15
阅读次数：
241
1.简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2.HBa..
分类：
系统相关 时间：
2015-10-19 01:55:49
阅读次数：
266
1.大数据对分布式存储的需求存储容量（>100PB）高吞吐量（1PB sort < 2小时 350GB/每秒的吞吐量）高可靠性（8个9）服务高可靠性（99.95%时间可用）运维简单成本低，廉价pc服务器，数据压缩，混合存储。2.大规模分布式存储系统的挑战 大规模分布式存储中小概率事件变为常态，如何高...
分类：
其他好文 时间：
2015-10-01 16:22:47
阅读次数：
1753
一、MogileFS简要说明1、相关概念介绍MogileFS是一个开源的分布式文件存储系统，MogileFS适用于存储海量小文件的工作场景，由LiveJournal旗下的DangaInteractive公司开发，该团队开发了包括Memcached、MogileFS、Perlbal等多个知名的开源项目。tracker节点：借助数据库保存各节..
分类：
其他好文 时间：
2015-10-01 01:46:16
阅读次数：
445
一、常见的分布式存储系统目前我们使用的分布式存储方面的应用均是有google的几篇论文演化出来的，下面就是这几篇论文所出现的架构：GoogleFileSystem（大规模分散文件系统）：用于分布式存储MapReduce（大规模分散FrameWork）：用于分布式计算BigTable（大规模分散数据库）：..
分类：
其他好文 时间：
2015-09-30 01:08:37
阅读次数：
294
一、大数据1、什么是大数据大数据是指无法在一定时间内用常规软件工具对其内容进行抓娶管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布..
分类：
其他好文 时间：
2015-09-30 01:06:59
阅读次数：
309
因字数限制，新开文章 第九天 今天设置nginx代理，代理存储服务的http访问。 在没有代理前，我们上传了图片，需要使用group中的任一storage server进行访问，如果是多group，很麻烦。 新增一台虚拟机，部署nginx...
分类：
其他好文 时间：
2015-09-08 12:46:42
阅读次数：
153
在使用和设计分布式存储系统时，非常重要的一个环节是数据寻址，即定位一个key的数据副本存放在哪个机器(甚至哪块磁盘)；目前有几种常用的解决方案：中心节点管理元数据，分布式管理元数据，无元数据设计；本文结合自身经验谈谈三种方案的特点：1.中心节点管理元数据：在设计分布式(存储)系统时，使用中心节点.....
分类：
其他好文 时间：
2015-09-06 12:59:00
阅读次数：
247
一致性哈希算法是分布式系统中常用的算法，为什么要用这个算法？比如：一个分布式存储系统，要将数据存储到具体的节点（服务器）上， 在服务器数量不发生改变的情况下，如果采用普通的hash再对服务器总数量取模的方法（如key%服务器总数量），如果期间有服务器宕机了或者需要增加服务器，问题就出来了。 同一个k...
分类：
编程语言 时间：
2015-09-01 18:20:55
阅读次数：
194
