HMaster:数据库总控节点HRegionServer:通常是一个物理节点即一台单独的计算机,一个HRegionServer包含多个HRegion,假如一个表有一亿行数据,那么可能会分散在一个RegionServer不同的Region中Store:每一个列族是一个store,当插入数据时候现在Me...
分类:
其他好文 时间:
2014-07-22 22:55:54
阅读次数:
163
Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive的数据管理。
分类:
其他好文 时间:
2014-07-22 22:54:13
阅读次数:
243
HBase是面向列的分布式的数据库,和传统的关系型数据库有很大的不同:物理模型和逻辑模型。这里我们要首先讲一下HBase数据库相关的区别于关系型数据库的几个基本概念: 表:HBase将数据组织到自己的HTable表中,这个表是根据列族(colomn family)在物理上保存数据的,每个列族都有自己...
分类:
其他好文 时间:
2014-07-21 14:22:20
阅读次数:
1257
数据库中的数据在不同的数据库中转换来装换去,由于不同库可能使用了不同的字符集,所以可能导致结果数据乱码问题。此次是在一个作业中跑数据,跑完数据前台数据显示出现乱码,检查了作业中的多有中间过程表,包括...
分类:
其他好文 时间:
2014-07-21 10:09:15
阅读次数:
473
今天配置hbase的时候发现有几台机器的regionserver启不来。报错如下:
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeC...
分类:
其他好文 时间:
2014-07-18 22:35:16
阅读次数:
323
安装环境:
OS:
Centos 6.5
JDK: jdk1.6.0_18
Hadoop: hadoop-0.20.2
Hbase: hbase-0.90.5
安装准备:
1.
Jdk环境已安装:版本为1.6以上
2.
hadoop环境已安装:完全分布模式安装如下
http://blog.csdn.net/lichangzai/arti...
分类:
其他好文 时间:
2014-07-18 22:08:46
阅读次数:
441
【甘道夫】HBase基本数据操作详解【完整版,绝对精品】...
分类:
其他好文 时间:
2014-07-18 21:39:39
阅读次数:
284
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中,提到sqoop可以让RDBMS和HDFS之间互导数据,并且也支持从mysql中导入到HBase,但从HBase直接导入mysq...
分类:
数据库 时间:
2014-07-18 20:00:07
阅读次数:
482
1、HRegionServer启动不正常在namenode上执行jps,则可看到hbase启动是否正常,进程如下:[root@master bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNa...
分类:
其他好文 时间:
2014-07-17 13:02:12
阅读次数:
268
最近的项目需要使用Hbase做实时查询,由于Hbase只支持一级索引,也就是使用rowkey作为索引查询,所以对于多条件筛选查询的支持不够,在不建立二级索引的情况下,只能使用Hbase API中提供的各种filter过滤器进行筛选,感觉查询效率不太理想,于是考虑建立二级索引的方案。 经过goo...
分类:
其他好文 时间:
2014-07-17 00:53:25
阅读次数:
238