背景 背景说起来有点复杂，公司的项目旧平台已经弃用（相关人员都离职的七七八八），但是系统却还在运行（虽说是演示系统）。 在职人让找离职的，离职让找在职的，没办法，只好自己搞。 就平台跑在k8s集群上，其中一个服务作为大数据平台，数据存储在hbase数据库。 由于平台没有人运维，一直都有挂掉起不来的可 ...
分类：
数据库 时间：
2020-03-31 23:07:44
阅读次数：
104
一个系统上线之后，开发和调优将会一直伴随在系统的整个生命周期中，HBase也不例外。下面我们要学习如何进行HBase读写性能调优，以获取最大的读写效率。 HBase写入优化客户端优化批量写采用批量写，可以减少客户端到RegionServer之间的RPC的次数，提高写入性能。批量写请求要么全部成功返回 ...
分类：
其他好文 时间：
2020-03-31 21:02:47
阅读次数：
94
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
有个需求是纬度表需要秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。（表数据大概在4--30E之间） 虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热点问题比较严重。所以hive和hbase表要分 ...
分类：
其他好文 时间：
2020-03-26 13:56:37
阅读次数：
103
Hbase架构原理解析 https://developer.51cto.com/art/201904/595698.htm HBase 架构 HBase 的架构似乎也是 master-slave 架构，和 HDFS 有点像，HMaster 是用来管理集群，HRegionServer 是真正存储数据的 ...
分类：
其他好文 时间：
2020-03-26 01:03:42
阅读次数：
70
一、环境准备 需要将HBase的jar包拷贝到Hive中，以便Hive运行时能访问到Hbase 这里演示创建软连接的方式 ln -s $HBASE_HOME/lib/HBase-common-1.3.1.jar $HIVE_HOME/lib/HBase-common-1.3.1.jar ln -s ...
分类：
其他好文 时间：
2020-03-23 20:32:49
阅读次数：
79
ZooKeeper 是一个开源的分布式协调服务,成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并 ...
分类：
其他好文 时间：
2020-03-23 15:28:00
阅读次数：
67
157. zookeeper 是什么？ zookeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 google chubby 的开源实现，是 hadoop 和 hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ...
分类：
编程语言 时间：
2020-03-23 00:16:47
阅读次数：
69
第一个异常： no further information：没有更多的信息 往下看 就可以知道这是没有开启集群 连接不上服务器。 相应的所有服务都开启后，test通过 ...
