1、region拆分机制region中存储的是大量的rowkey数据,当region中的数据条数过多的时候,直接影响查询效率.当region过大的时候.hbase会拆分region,这也是Hbase的一个优点.HBase的regionsplit策略一共有以下几种：1、ConstantSizeRegionSplitPolicy0.94版本前默认切分策略当region大小大于某个阈值(hbase.hr
分类：
其他好文 时间：
2020-02-17 17:35:33
阅读次数：
102
创建表 Pom <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version> </dependency> < ...
分类：
其他好文 时间：
2020-02-17 12:17:48
阅读次数：
102
1、什么是actuator 线上监控工具 2、如何整合 遵循三板斧 第一步加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId ...
分类：
编程语言 时间：
2020-02-14 10:36:11
阅读次数：
70
详细的讲解了hbase原理与架构，以及安装部署教程
分类：
其他好文 时间：
2020-02-12 18:33:52
阅读次数：
44
一、同下图加上 "-Dfile.encoding=UTF-8" ，两都都加没有试过，可先加一处，如果没有处理到问题，再加另外一处 ...
分类：
其他好文 时间：
2020-02-12 14:43:10
阅读次数：
51
最近有需求将数据从mysql同步到oracle，之前有使用kettle将表从oracle同步到mysql，这里使用的插件依然是阿里的dataX 详细见：Githup地址：https://github.com/alibaba/DataX 这里也是根据阿里云的一篇帖子来进行验证 https://yq.a ...
分类：
数据库 时间：
2020-02-11 11:54:21
阅读次数：
322
看反压 通常最后一个被压高的subTask的下游就是job的瓶颈之一 看checkpoint时长 checkpoint时长能在一定程度影响job的整体吞吐 看核心指标 延迟和吞吐是最重要的指标 资源使用率 提高资源利用率是最终目的。排查首先看GC 常见性能问题 JSON序列化和反序列化 MAP和Se ...
分类：
其他好文 时间：
2020-02-09 11:43:28
阅读次数：
80
Spark写HBase 要通过Spark向 HBase 写入数据，我们需要用到PairRDDFunctions.saveAsHadoopDataset的方式。 package cn.com.win import org.apache.hadoop.hbase.HBaseConfiguration i ...
分类：
其他好文 时间：
2020-02-08 00:03:34
阅读次数：
53
本次记录是用于：SparkStreaming对接Kafka、HBase记录 一、简介 ①HBase本身是一个菲关系型数据库，存储数据结构时以key-value结构来进行存储，HBase中的数据是稀疏的。 ②基于Hadoop运行，但是HBase的效率在秒级别 ③基于列存储：传统行存储方式在查询特定列时 ...
分类：
其他好文 时间：
2020-02-06 16:53:41
阅读次数：
101
