本文基于HBase-0.94.1分析HMaster的主要类成员.
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master.
HMaster的主要类成员如下:
1.ZooKeeper侦听
这些类都继承自ZookeeperListener.
/**************...
分类:
其他好文 时间:
2014-12-08 19:42:14
阅读次数:
332
1、修改/etc/hosts
172.16.3.7 nimbus
172.16.3.8 supervisor1
172.16.3.9 supervisor2
172.16.3.10 supervisor3
2、集群所有机器安装ZooKeeper,storm需要zk存储数据及进行nimbus、supervisor之间协调
tar xzvf ...
分类:
其他好文 时间:
2014-12-08 17:46:22
阅读次数:
281
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee...
分类:
其他好文 时间:
2014-12-07 16:30:44
阅读次数:
379
一:下载zookeeper-3.4.6.tar.gz
二:配置 /home/tang_h/jack/zookeeper-3.4.6/conf/zoo.cfg 如下内容
[tang_h@apptools01 conf]$ cat zoo.cfg
tickTime=2500
initLimit=12
...
分类:
其他好文 时间:
2014-12-06 16:54:25
阅读次数:
183
Todo: 1.新建和删除solr集群的核(通过修改schema文件,并上传到zookeeper实现) 2.新建,修改或删除solr核的属性(包括name,type,indexed,stored,multiValued) 3.配置数据源,并支持多数据源联查创建索引(基于...
分类:
其他好文 时间:
2014-12-06 14:10:10
阅读次数:
156
先整体介绍一下搭建storm集群的步骤:
设置zookeeper集群安装依赖到所有nimbus和worker节点下载并解压storm发布版本到所有nimbus和worker节点配置storm.yaml启动相关后台进程
1 首先配置zookeeper集群
我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递,因此storm不会给zo...
分类:
其他好文 时间:
2014-12-05 17:26:26
阅读次数:
206
首先从Zookeeper入手,Zookeeper-->ClientCnxn-->sendThread/eventThread
public ZooKeeper(String connectString, int sessionTimeout, Watcher watcher,
boolean canBeReadOnly)
throws IOException
{
...
分类:
其他好文 时间:
2014-12-04 23:15:28
阅读次数:
259
Watcher 设置是开发中最常见的,需要搞清楚watcher的一些基本特征,对于exists、getdata、getchild对于节点的不同操作会收到不同的 watcher信息。对父节点的变更以及孙节点的变更都不会触发watcher,而对watcher本身节点以及子节点的变更会触发watcher,具体参照下表。...
分类:
其他好文 时间:
2014-12-04 17:59:22
阅读次数:
247
zookeeper是什么Zookeeper,一种分布式应用的协作服务,是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务,它包含一个简单的原语集,应用于分布式应用的协作服务,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。zookeeper是一个由...
分类:
其他好文 时间:
2014-12-03 22:47:33
阅读次数:
320