集群中时间不同步有可能会让大数据的应用程序运行混乱，造成不可预知的问题，比如Hbase、mongodb副本集等，Hbase当时间差别过大时就会挂掉，mongodb如果副本时间过快，会出现时间栈帧溢出提前出发选举等，所以在大数据集群中，ntp服务，应该作为一种基础的服务，以下在演示在CentOS 7. ...
分类：
系统相关 时间：
2020-04-26 13:47:38
阅读次数：
201
HBase作为一个分布式存储的数据库，它是如何保证可用性的呢？对于分布式系统的CAP问题，它是如何权衡的呢？ 最重要的是，我们在生产实践中，又应该如何保证HBase服务的高可用呢？ 下面我们来仔细分析一下。 1. 什么是分布式系统的CAP？ CAP是指一致性（Consistency）、可用性（Ava ...
分类：
其他好文 时间：
2020-04-26 10:59:28
阅读次数：
63
1.修改hbase env.sh文件 2.修改hbase site.xml文件 3.在conf文件夹中创建hadoop配置文件的软链接 4.分发配置 5.启动RegionServer、Master，只能在指定master节点启动master服务（与Yarn中ResourceManager类似） == ...
分类：
其他好文 时间：
2020-04-26 01:22:24
阅读次数：
78
abc 过滤器介绍 HBase过滤器是一套为完成一些较高级的需求所提供的API接口。 过滤器也被称为下推判断器（push down predicates），支持把数据过滤标准从客户端下推到服务器，带有 Filter 条件的 RPC 查询请求会把 Filter 分发到各个 RegionServer，所 ...
分类：
其他好文 时间：
2020-04-23 22:46:48
阅读次数：
76
ZooKeeper 简介 ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zoo ...
分类：
其他好文 时间：
2020-04-22 16:49:02
阅读次数：
66
最近在做将kafka里面的业务日志写入到hbase 当中，然后要对hbase 里面的数据进行解析然后插入到数据库当中。 为了能节约磁盘空间想对hbase里面的数据进行删除，但是我们设置的rowkey是按照每小时 加日期 然后加hash码的方式组成的。例子如下： 这个地方我们没有办法通过框定一个时间范 ...
分类：
系统相关 时间：
2020-04-22 16:12:15
阅读次数：
337
import org.apache.hadoop.hbase.io.ImmutableBytesWritable import org.apache.hadoop.hbase.mapreduce.TableOutputFormat import org.apache.hadoop.hbase.cli ...
分类：
其他好文 时间：
2020-04-22 09:54:55
阅读次数：
108
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.util.Bytes ...
分类：
其他好文 时间：
2020-04-22 09:16:07
阅读次数：
55
hyperbase和hbase一样，底层数据结构的存储依托于hdfs；今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍； TDH: 4.x系列 TDH4.9.2之后开始使用的版本是对应开源的1.3.1，之前版本对应的开源的0.98.6 5.x系列 TDH5.2.3之 ...
分类：
其他好文 时间：
2020-04-21 11:23:59
阅读次数：
139
hyperbase官方简介： Transwarp Hyperbase实时数据库是建立在Apache HBase和Elasticsearch基础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。 个人总结： hyperbase是基于开源hbase+hive的 ...
分类：
其他好文 时间：
2020-04-20 16:12:19
阅读次数：
280
