江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)!谷歌在03到06年间连续发表了三篇非常有影响力的文章,各自是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机...
分类:
其他好文 时间:
2014-07-09 21:36:17
阅读次数:
187
GFS解决了某些业务场景对分布式文件系统需求,很自然的,也有某些业务仅仅靠文件系统用起来还是不那么方便,它们需要分布式数据库系统。BigTable就是Google为了解决内部对大规模结构化数据处理的需求而产生的。论文摘要涉及的“关键”字为:
1. 结构化数据
2. 数据量大
3. 典型应用:Web索引,Google Earth,Google Finance
4. 批处理和实时需求
5. ...
分类:
其他好文 时间:
2014-06-30 16:58:28
阅读次数:
200
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的.....
分类:
其他好文 时间:
2014-06-29 19:20:17
阅读次数:
252
Hbase简介
Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。
类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:
其他好文 时间:
2014-06-08 18:24:32
阅读次数:
563
一:课程简介:
Hadoop是云计算分布式大数据的事实标准软件框架,Hadoop中的架构实现是整个云计算产业技术的基础,作为与Google三大核心技术DFS、MapReduce、BigTable相对的HDFS、MapReduce、和HBase也是整个Hadoop生态系统的核心的技术,本课程致力于帮您...
分类:
其他好文 时间:
2014-06-05 14:17:33
阅读次数:
273
Google File System中文版Google Bigtable中文版Google
MapReduce中文版
分类:
其他好文 时间:
2014-05-26 19:48:38
阅读次数:
184
如今Bigtable型(列族)数据库应用越来越广,功能也很强大。但是很多人还是把它当做关系型数据库在使用,用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。
传统关系型数据库(mysql,oracle)数据存储方式主要如下:
图一
上图是个很典型的数据储存方式,我把每条记录分成3部分:主键、记录属性、索引字段。我们会对索引字段建立索引,达到二级索引...
分类:
数据库 时间:
2014-05-23 00:19:11
阅读次数:
301
很多复杂的报表项目,是借助报表工具(或插件)来实现的,下面以jasperReport举例。这些报表工具可以对传统的数据源(关系型数据库、collections、javaBeanArray)进行很好的支持。HBase的数据结构虽然与关系型数据库不一样,但HBase本身就是java开发的。有专门的javaAPI实现对HB..
分类:
其他好文 时间:
2014-05-14 18:23:58
阅读次数:
281
HBase是一个类Bigtable系统,按照Google的论文对
Bigtable的定义是“一种稀疏的,分布式的,持久的多为维度的有序Map。这个Map由row key,column
key和timestamp做为索引,Map中的值是连续的byte数组”。HBase的多维度,包括table和colu...
分类:
其他好文 时间:
2014-05-10 00:30:36
阅读次数:
357
Abstract Introduction::
Bigtable设计主旨:可扩地扩展到pByte级别和数千台机器的系统, 通用、可伸缩、高性能、高可用性。
不实现完整的关系数据模型,而是支持一个可以动态控制,允许用户自解释数据属性; 用户甚至可以指定数据(使用时)是存在内存中还是磁盘中; 支持row...
分类:
其他好文 时间:
2014-04-29 15:40:01
阅读次数:
613