hive是什么? 白话一点再加不严格一点,hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。 于是,hbase是什么? 同样白话一点加不严格一点,hbase可以认为是...
分类:
其他好文 时间:
2014-07-23 13:57:36
阅读次数:
268
说明:
最近两天在调研HBase的连接池,有了一些收获,特此记录下来。
本文先将官方文档(http://hbase.apache.org/book.html)9.3.1.1节翻译,方便大家阅读,然后查阅了关键类HConnectionManager的Developer API(http://hbase.apache.org/devapidocs/index.html) 做了一些总结。...
分类:
其他好文 时间:
2014-07-23 00:12:08
阅读次数:
466
对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程...
分类:
其他好文 时间:
2014-07-22 22:45:54
阅读次数:
257
本次主要是采用hbase自带的importtsv工具来导入。首先要把数据文件上传到hdfs上,然后导入hbase表格。该导入方式只支持.tsv数据文件的导入。导入流程:1.下载数据。我们在本文中将使用 “美国国家海洋和大气管理局 气候平均值”的公共数据集合。访问http://www1.ncdc.no...
分类:
其他好文 时间:
2014-07-22 22:36:13
阅读次数:
406
我用的是cdh4.5版本:配置文件:$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/...
分类:
其他好文 时间:
2014-07-22 22:35:55
阅读次数:
204
Hbase特征:
最近在学习Hbase,Hbase基于行健是建立了索引的,查询速度会非常快,完全实时。
但是Hbase要基于行健之外的字段进行查询,那么就只能是全盘扫描,基本上不可接受。
所以Hbase一般来说会针对具体的应用场景来设计行健,利用基于行健的查询的实时性来达到Hbase数据的实时查询。
关系型数据库基于索引字段的实时查询:
然后联想到关系型SQL数据库,他们针对主键是...
分类:
数据库 时间:
2014-07-22 00:07:33
阅读次数:
282
HBase是面向列的分布式的数据库,和传统的关系型数据库有很大的不同:物理模型和逻辑模型。这里我们要首先讲一下HBase数据库相关的区别于关系型数据库的几个基本概念: 表:HBase将数据组织到自己的HTable表中,这个表是根据列族(colomn family)在物理上保存数据的,每个列族都有自己...
分类:
其他好文 时间:
2014-07-21 14:22:20
阅读次数:
1257
【甘道夫】HBase基本数据操作详解【完整版,绝对精品】...
分类:
其他好文 时间:
2014-07-18 21:39:39
阅读次数:
284
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中,提到sqoop可以让RDBMS和HDFS之间互导数据,并且也支持从mysql中导入到HBase,但从HBase直接导入mysq...
分类:
数据库 时间:
2014-07-18 20:00:07
阅读次数:
482
1、HRegionServer启动不正常在namenode上执行jps,则可看到hbase启动是否正常,进程如下:[root@master bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNa...
分类:
其他好文 时间:
2014-07-17 13:02:12
阅读次数:
268