HMaster和HRegionServer是Hbase的两个子进程，但是使用jps发现没有启动起来，所以去我们配置的logs查看错误信息。提示：Could not start ZK at requested port of 2181. ZK was started at port: 2182. Ab ...
分类：
其他好文 时间：
2019-12-28 20:45:17
阅读次数：
99
连接Phoenix出现异常SYSTEM.CATALOG。 进入/bin/ hbase zkcli ，或者进入zk的客户端：[hadoop@hadoop001 zookeeper-3.4.5-cdh5.7.0]$ cd bin[hadoop@hadoop001 bin]$ ./zkCli.sh 如果有 ...
分类：
其他好文 时间：
2019-12-28 20:43:09
阅读次数：
330
一、HBase的RK设计 HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。 RowKey设计原则： 1）长度原则： RowKey不应该超过16字节，因为若是过长再以KV形式存储，对于HFile和MemStore来说会极大的占用存储空 ...
分类：
其他好文 时间：
2019-12-28 20:38:27
阅读次数：
91
hbase简介 hbase定义 hbase是一种分布式、可扩展、支持海量数据存储的NoSql数据库，可以对几十亿条数据进行秒级查询。 hbase数据模型 逻辑上，hbase的数据模型和关系型数据库比较类似，数据存在一张表中，有行有列。但是从hbase的底层物理存储逻辑来看，hbase更像是一个 ，因 ...
分类：
数据库 时间：
2019-12-28 09:21:24
阅读次数：
139
zookeeper：主要用于协调管理分布式应用程序； 1.实现master高可用；如果 active master由于异常宕机，zookeeper会检测到该宕机时间，并通过一定机制选举出新的master 2.管理系统核心元数据：当前系统中正常工作的regionserver集合，保存系统元数据表hba ...
分类：
数据库 时间：
2019-12-26 17:57:21
阅读次数：
139
一、Hbase基本原理 1、hbase基本介绍 HBASE是一个分布式的，面向列的开源数据库。Hbase的存储是基于hadoop的。因为Hadoop实现了一个分布式文件系统（HDFS），基于hadoop意味着hbase与生俱来的超强的扩展性和吞吐量，hbase采用的是key、value的存储方式。意 ...
分类：
数据库 时间：
2019-12-26 17:38:01
阅读次数：
82
hbase读写流程 读过程 client先从缓存中定位region位置，如果缓存中没有region位置，则从zookeeper的-ROOT-表，获取-ROOT-所在regionserver位置 通过查询-ROOT-的region服务器获取含有.META.表所在regionserver地址 Clien ...
分类：
数据库 时间：
2019-12-26 17:36:47
阅读次数：
90
概述HBase是谷歌公司BigTable的开源实现。BigTable是一个分布式存储系统，利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据，使用谷歌分布式文件系统GFS作为底层数据存储，并采用Chubby提供协同服务管理，可以扩展到PB级别的数据和上千台机器，具备广泛应用型、可扩展性... ...
分类：
其他好文 时间：
2019-12-26 11:13:14
阅读次数：
155
springboot-habse: https://github.com/spring-projects/spring-hadoop-samples/tree/master/hbase 依赖： <dependency> <groupId>org.springframework.data</group ...
分类：
编程语言 时间：
2019-12-25 16:27:57
阅读次数：
242
环境描述：redhat7.3 CDH5.15.1 采用parcels方式部署 报错描述：airflow调度程序，最近2周偶尔报错，报错类型有2类：1、无法初始化集群配置；2、读取配置权限问题 报错一： Launching Job 1 out of 1 Number of reduce tasks i ...
分类：
其他好文 时间：
2019-12-24 19:03:56
阅读次数：
337
