本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
有个需求是纬度表需要秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。（表数据大概在4--30E之间） 虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热点问题比较严重。所以hive和hbase表要分 ...
分类：
其他好文 时间：
2020-03-26 13:56:37
阅读次数：
103
Hbase架构原理解析 https://developer.51cto.com/art/201904/595698.htm HBase 架构 HBase 的架构似乎也是 master-slave 架构，和 HDFS 有点像，HMaster 是用来管理集群，HRegionServer 是真正存储数据的 ...
分类：
其他好文 时间：
2020-03-26 01:03:42
阅读次数：
70
一、环境准备 需要将HBase的jar包拷贝到Hive中，以便Hive运行时能访问到Hbase 这里演示创建软连接的方式 ln -s $HBASE_HOME/lib/HBase-common-1.3.1.jar $HIVE_HOME/lib/HBase-common-1.3.1.jar ln -s ...
分类：
其他好文 时间：
2020-03-23 20:32:49
阅读次数：
79
ZooKeeper 是一个开源的分布式协调服务,成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并 ...
分类：
其他好文 时间：
2020-03-23 15:28:00
阅读次数：
67
157. zookeeper 是什么？ zookeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 google chubby 的开源实现，是 hadoop 和 hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ...
分类：
编程语言 时间：
2020-03-23 00:16:47
阅读次数：
69
第一个异常： no further information：没有更多的信息 往下看 就可以知道这是没有开启集群 连接不上服务器。 相应的所有服务都开启后，test通过 ...
在Hbase使用中，除了进行预分区，rowkey合理的设计外，平时也会对系统的内置参数进行优化 1、 堆内存的优化 HBase-site.xml <!-- regionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且regionserver ...
分类：
其他好文 时间：
2020-03-22 16:00:01
阅读次数：
73
Hbase 操作表时，连接超时，或者找不到对应的region Server的解决办法 ...
分类：
其他好文 时间：
2020-03-21 21:30:22
阅读次数：
228
HBase概述HBase表的核心概念总结HBase的架构MasterRegionServer结构功能HBase的安装与shell操作安装启动与关闭ddl与dml操作ddl(表操作)dml(数据操作)HBase进阶HBase的高性能原理架构细节读写流程MemStore FlushMemStore 刷写... ...
分类：
其他好文 时间：
2020-03-21 15:08:39
阅读次数：
106
