码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
在Hadoop-3.1.2上安装HBase-2.2.1
目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策略 5 6.2. 修改conf/regionservers 5 6.3. 修改conf/hbase- ...
分类:其他好文   时间:2019-11-09 11:51:05    阅读次数:123
HBase里面的HFile存储结构
1、本文章主要写的是关于HFile里面键值对的剖析 先来看看HFile的存储格式 HFile的文件是不定长的,长度固定的只有两块,就是Traifer和File info。 Data块的是由Magic和键值对组成,Magic主要是生成一些随机数来防止数据的损坏,其他的就是键值对。 上面我们大概的讲了一 ...
分类:其他好文   时间:2019-11-07 15:04:49    阅读次数:121
ETL工具之kittle使用案例整理
主花了一下午时间,收集全网,学习了下kittle,觉得该大v写的不错,特意整理给大家!学会这几个案例kittle基本就没问题了。 1.kettle案例一抽取gz格式文本内容保存到mongodb https://blog.csdn.net/zzq900503/article/details/78658 ...
分类:其他好文   时间:2019-11-06 13:04:40    阅读次数:117
三、hbase--调优
这里主要讲hbase调优相关内容一、Hmaster高可用在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。首先在$HBASE_HOME/conf下创建一个backup-masters名称的文件
分类:其他好文   时间:2019-11-05 09:35:20    阅读次数:76
一、hbase--基本原理和使用
hbase数据热点问题:一个region上访问数据量过多,解决方案是对热点数据的rowkey进行预处理,添加一些前缀东西,将热点数据分散到多个region中。预合并?动态分区?就是一开始初始数据的时候,就要对数据进行分区,存储到不同的region上,负载均衡例子:比如按电话号码开头分区,容易将电话号码都分到一个区中。后面可以按电话号码的逆序作为rowkey,这样就比较随机了。ctrL+backsp
分类:其他好文   时间:2019-11-05 09:26:31    阅读次数:110
死磕 java同步系列之zookeeper分布式锁
问题(1)zookeeper如何实现分布式锁?(2)zookeeper分布式锁有哪些优点?(3)zookeeper分布式锁有哪些缺点?简介zooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它可以为分布式应用提供一致性的服务,它是Hadoop和Hbase的重要组件,同时也可以作为配置中心、注册中心运用在微服务体系中。本章我们将介绍zookeeper如何实现分布式锁运用在分布式系统中。
分类:编程语言   时间:2019-11-05 09:25:48    阅读次数:92
二、hbase--集成Phoenix实现类SQL操作hbase
一、Phoenix概述1、简介可以把Phoenix理解为Hbase的查询引擎,phoenix,由saleforce.com开源的一个项目,后又捐给了Apache。它相当于一个Java中间件,帮助开发者,像使用jdbc访问关系型数据库一些,访问NoSql数据库HBase。phoenix,操作的表及数据,存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操
分类:数据库   时间:2019-11-05 09:17:08    阅读次数:95
docker 学习
脚本参考地址,https://www.jb51.net/article/125474.htm 创建镜像,docker build -t debugman007/ubt14-hadoop-hbase:v1 -f Dockerfile-config . -t表示tag标签,-f指定Dockerfile路 ...
分类:其他好文   时间:2019-11-04 15:26:31    阅读次数:67
京东消息中间件JMQ(转)
http://blog.csdn.net/javahongxi/article/details/54411464 [京东技术]京东的MQ经历了JQ->AMQ->JMQ的发展,其中JQ的基于关系数据库,严格意义上讲称不上消息中间件,JMQ的存储是JFS和HBase,AMQ即ActiveMQ,本文说说J ...
分类:其他好文   时间:2019-11-04 13:15:40    阅读次数:82
HBase安装指南
一.事前准备 二.zookeeper安装 1.进入文件所在目录:cd /usr/local/soft/ 2. 解压:tar -zxvf zookeeper-3.4.6.tar.gz 3. 重命名:mv zookeeper-3.4.6 zookeeper 4. 进入conf目录:cd zookeepe ...
分类:其他好文   时间:2019-11-04 10:00:57    阅读次数:75
4514条   上一页 1 ... 45 46 47 48 49 ... 452 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!