目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策略 5 6.2. 修改conf/regionservers 5 6.3. 修改conf/hbase- ...
分类:
其他好文 时间:
2019-11-09 11:51:05
阅读次数:
123
1、本文章主要写的是关于HFile里面键值对的剖析 先来看看HFile的存储格式 HFile的文件是不定长的,长度固定的只有两块,就是Traifer和File info。 Data块的是由Magic和键值对组成,Magic主要是生成一些随机数来防止数据的损坏,其他的就是键值对。 上面我们大概的讲了一 ...
分类:
其他好文 时间:
2019-11-07 15:04:49
阅读次数:
121
主花了一下午时间,收集全网,学习了下kittle,觉得该大v写的不错,特意整理给大家!学会这几个案例kittle基本就没问题了。 1.kettle案例一抽取gz格式文本内容保存到mongodb https://blog.csdn.net/zzq900503/article/details/78658 ...
分类:
其他好文 时间:
2019-11-06 13:04:40
阅读次数:
117
这里主要讲hbase调优相关内容一、Hmaster高可用在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。首先在$HBASE_HOME/conf下创建一个backup-masters名称的文件
分类:
其他好文 时间:
2019-11-05 09:35:20
阅读次数:
76
hbase数据热点问题:一个region上访问数据量过多,解决方案是对热点数据的rowkey进行预处理,添加一些前缀东西,将热点数据分散到多个region中。预合并?动态分区?就是一开始初始数据的时候,就要对数据进行分区,存储到不同的region上,负载均衡例子:比如按电话号码开头分区,容易将电话号码都分到一个区中。后面可以按电话号码的逆序作为rowkey,这样就比较随机了。ctrL+backsp
分类:
其他好文 时间:
2019-11-05 09:26:31
阅读次数:
110
问题(1)zookeeper如何实现分布式锁?(2)zookeeper分布式锁有哪些优点?(3)zookeeper分布式锁有哪些缺点?简介zooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它可以为分布式应用提供一致性的服务,它是Hadoop和Hbase的重要组件,同时也可以作为配置中心、注册中心运用在微服务体系中。本章我们将介绍zookeeper如何实现分布式锁运用在分布式系统中。
分类:
编程语言 时间:
2019-11-05 09:25:48
阅读次数:
92
一、Phoenix概述1、简介可以把Phoenix理解为Hbase的查询引擎,phoenix,由saleforce.com开源的一个项目,后又捐给了Apache。它相当于一个Java中间件,帮助开发者,像使用jdbc访问关系型数据库一些,访问NoSql数据库HBase。phoenix,操作的表及数据,存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操
分类:
数据库 时间:
2019-11-05 09:17:08
阅读次数:
95
脚本参考地址,https://www.jb51.net/article/125474.htm 创建镜像,docker build -t debugman007/ubt14-hadoop-hbase:v1 -f Dockerfile-config . -t表示tag标签,-f指定Dockerfile路 ...
分类:
其他好文 时间:
2019-11-04 15:26:31
阅读次数:
67
http://blog.csdn.net/javahongxi/article/details/54411464 [京东技术]京东的MQ经历了JQ->AMQ->JMQ的发展,其中JQ的基于关系数据库,严格意义上讲称不上消息中间件,JMQ的存储是JFS和HBase,AMQ即ActiveMQ,本文说说J ...
分类:
其他好文 时间:
2019-11-04 13:15:40
阅读次数:
82
一.事前准备 二.zookeeper安装 1.进入文件所在目录:cd /usr/local/soft/ 2. 解压:tar -zxvf zookeeper-3.4.6.tar.gz 3. 重命名:mv zookeeper-3.4.6 zookeeper 4. 进入conf目录:cd zookeepe ...
分类:
其他好文 时间:
2019-11-04 10:00:57
阅读次数:
75