转载自http://www.csdn.net/article/2010-11-28/282614数据模型HBase数据库使用了和Bigtable非常相似的数据模型。用户在表格里存储许多数据行。每个数据行都包括一个可排序的关键字,和任意数目的列。表格是稀疏的,所以同一个表格里的行可能有非常不同的列,只...
分类:
数据库 时间:
2015-08-13 19:48:55
阅读次数:
130
一 什么是HBASE Hbase 是建立在Hadoop HDFS上的一个 分布式的 面向列存储的 开源数据库。来源于google的一篇论文《bigtable;一个结构化数据的分布式存储系统》利用MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 HBase 以...
分类:
其他好文 时间:
2015-08-07 00:12:05
阅读次数:
139
SnappySnappy是在谷歌内部生产环境中被许多项目使用的压缩库,包括BigTable,MapReduce和RPC等。谷歌表示算法库针对性能做了调整,而不是针对压缩比或与其他类似工具的兼容性。在Intel酷睿i7处理器上,其单核处理数据流的能力达到250M/s-500M/s。Snappy同时针对...
分类:
编程语言 时间:
2015-07-30 19:22:37
阅读次数:
163
1.背景分布式计算的发迹应该是google在2003年发表的三篇paper,分别是GFS、MapReduce、BigTable。其中MapReduce大家都很熟悉了,不懂的同学也可以看看我之前写的文章【分布式计算】MapReduce的替代者-Parameter Server为什么google会搞分布式计算这件事儿呢,因为在那个年代每天会产生几个T的日志,但是当时的磁盘只允许存储几百G的文件,07年...
分类:
其他好文 时间:
2015-07-22 18:43:34
阅读次数:
114
HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件...
分类:
其他好文 时间:
2015-06-15 14:25:26
阅读次数:
93
1、hbase对数据的管理机制 ????1.1、hbase中的表很大---bigtable,都是分布式存储在集群的各个regionserver上 ????1.2、分布式存储时,需要对表进行切分,首先是按行切分成若干个hregion ????1.3、表...
分类:
其他好文 时间:
2015-06-11 17:16:44
阅读次数:
97
声明:此文转载自博客开发团队的博客,尊重原创工作。该文适合学分布式系统之前,作为背景介绍来读。 谈到分布式系统,就不得不提Google的三驾马车:Google FS[1],MapReduce[2],Bigtable[3]。 虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详...
分类:
其他好文 时间:
2015-06-11 12:54:11
阅读次数:
130
实验简介我们本节课程将要讲述以下内容:HBase的概述及历史HBase的数据模型HBase的系统架构一、HBase概述HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分,运行于...
分类:
其他好文 时间:
2015-06-03 23:18:14
阅读次数:
313
HBase - Hadoop Database
hbase的设计思想来自于google的bigtable
主键:Row Key
主键是用来检索记录的主键,访问Hbase table 中的行,只有三种方式
通过单个Row Key 访问
通过Row Key 的range
全表扫描
列族:Column Family
列族...
分类:
其他好文 时间:
2015-06-03 09:59:11
阅读次数:
106
LevelDB是google大佬Jeff Dean仿照BigTable开发一个轻量级K/V 存储DB,性能优良,可以作为local db使用,不提供C/S....
分类:
数据库 时间:
2015-05-27 19:07:20
阅读次数:
229