最近在XX项目的测试过程中,接触到一些HBase的东西,希望能站在测试的角度,把过程记录下来,期望对快速了解它有点帮助。作为一个初次接触它的人来说,需要迫切掌握其中基本的概念,这里就不赘述了。HBase Shell是HBase提供的便捷的访问方式,首先你需要搭建HBase的环境,可以参考http:/...
分类:
其他好文 时间:
2014-07-24 22:37:03
阅读次数:
214
HQueue:基于HBase的消息队列凌柏?1. HQueue简介HQueue是一淘搜索网页抓取离线系统团队基于HBase开发的一套分布式、持久化消息队列。它利用HTable存储消息数据,借助HBase Coprocessor将原始的KeyValue数据封装成消息数据格式进行存储,并基于HBase ...
分类:
其他好文 时间:
2014-07-24 22:31:52
阅读次数:
290
在jsp商城开发中两者都被设计用于管理非常大的数据集。HBase文件声称一个HBase数据库可以拥有数亿个,甚至是数十亿个行。此外,用户还被建议继续使用关系型数据库。
分类:
其他好文 时间:
2014-07-24 21:48:52
阅读次数:
210
hbaseregion,store,storefile和列簇,的关系关于hbase的read操作的深入研究region到storefile过程
分类:
其他好文 时间:
2014-07-23 21:25:57
阅读次数:
169
hive是什么? 白话一点再加不严格一点,hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。 于是,hbase是什么? 同样白话一点加不严格一点,hbase可以认为是...
分类:
其他好文 时间:
2014-07-23 13:57:36
阅读次数:
268
说明:
最近两天在调研HBase的连接池,有了一些收获,特此记录下来。
本文先将官方文档(http://hbase.apache.org/book.html)9.3.1.1节翻译,方便大家阅读,然后查阅了关键类HConnectionManager的Developer API(http://hbase.apache.org/devapidocs/index.html) 做了一些总结。...
分类:
其他好文 时间:
2014-07-23 00:12:08
阅读次数:
466
对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程...
分类:
其他好文 时间:
2014-07-22 22:45:54
阅读次数:
257
本次主要是采用hbase自带的importtsv工具来导入。首先要把数据文件上传到hdfs上,然后导入hbase表格。该导入方式只支持.tsv数据文件的导入。导入流程:1.下载数据。我们在本文中将使用 “美国国家海洋和大气管理局 气候平均值”的公共数据集合。访问http://www1.ncdc.no...
分类:
其他好文 时间:
2014-07-22 22:36:13
阅读次数:
406
我用的是cdh4.5版本:配置文件:$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/...
分类:
其他好文 时间:
2014-07-22 22:35:55
阅读次数:
204
Hbase特征:
最近在学习Hbase,Hbase基于行健是建立了索引的,查询速度会非常快,完全实时。
但是Hbase要基于行健之外的字段进行查询,那么就只能是全盘扫描,基本上不可接受。
所以Hbase一般来说会针对具体的应用场景来设计行健,利用基于行健的查询的实时性来达到Hbase数据的实时查询。
关系型数据库基于索引字段的实时查询:
然后联想到关系型SQL数据库,他们针对主键是...
分类:
数据库 时间:
2014-07-22 00:07:33
阅读次数:
282