前言
一般人对于zookeeper的绝大多数印象就是他是用来做协调服务的,不管说是Hadoop,HBase,Storm等等这些计算平台,都或多或少用到了这个zookeeper"动物管理员"。使用的方法都很简单,首先搭建一个zookeeper集群,然后在配置文件中指定一下ip:host,然后就可以用了,但是很少有人会问,zookeeper是如何进行工作的,他是如何为其他节点进行服务的呢。
2PC...
分类:
其他好文 时间:
2015-06-08 09:53:59
阅读次数:
102
zookeeper概述
针对分布式应用的分布式协作服务,zookeeper的开发动机就是为了减轻分布式应用从头开发协作服务的负担。
设计目标
简单。 允许多个分布的进程基于一个共享的,类似标准文件系统的树状名称空间进行协作。每个节点称作一个znode。
ZooKeeper is replicated
几个zookeeper集群包含多个zookeeper server,...
分类:
其他好文 时间:
2015-05-26 18:52:58
阅读次数:
184
集群模式的配置为了确保ZooKeeper服务的稳定与可靠性,通常是搭建成一个ZK集群来对外提供服务。关于ZooKeeper,需要明确一个很重要的特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的(本文下面就用―过半存活即可用‖来代替这个特性吧^-^)。正是基于?.
分类:
其他好文 时间:
2015-05-25 20:35:02
阅读次数:
124
集群模式的配置
为了确保ZooKeeper服务的稳定与可靠性,通常是搭建成一个ZK集群来对外提供服务。关于ZooKeeper,需要明确一个很重要的特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的(本文下面就用―过半存活即可用‖来代替这个特性吧^-^)。正是基于这个特性,建议是将ZK集群的机器数量控制为奇数较为合适。为什么选择奇数台机器,我们可以来看一下,假如是4台机器构成的...
分类:
其他好文 时间:
2015-05-25 18:46:23
阅读次数:
124
集群模式的配置为了确保ZooKeeper服务的稳定与可靠性,通常是搭建成一个ZK集群来对外提供服务。关于ZooKeeper,需要明确一个很重要的特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的(本文下面就用―过半存活即可用‖来代替这个特性吧^-^)。正是基于这个特性,建议是将ZK...
分类:
其他好文 时间:
2015-05-25 18:36:31
阅读次数:
160
背景
需要实现一个分布式监控程序,Agent把监控消息发送到Kafka,由消费者进程使用High Level API从Kafka获取消息
需求
随着Agent数量的增加,每秒产生的消息数量也在增加,考虑到High Level的API使消费者进程与分区的固定关系,所以需要使用Zookeeper来维护一个消费者的集群,使消费者可以根据Kafka分区的数量以及消费者集群的个数,动态的分配每...
分类:
系统相关 时间:
2015-05-24 11:36:47
阅读次数:
722
[推荐]Hadoop+HBase+Zookeeper集群的配置
分类:
其他好文 时间:
2015-05-19 18:24:14
阅读次数:
100
Zookeeper集群中server数量总是确定的,所以集群中的server交互采用比较可靠的bio长连接模型;不同于集群中sever间交互zookeeper客户端其实数量是未知的,为了提高zookeeper并发性能,zookeeper客户端...
分类:
其他好文 时间:
2015-05-18 23:10:53
阅读次数:
181
如何在zookeeper集群中选举出一个leader,zookeeper使用了三种算法,具体使用哪种算法,在配置文件中是可以配置的,对应的配置项是”electionAlg”,其中1对应的是LeaderElection算法,2对应的是AuthFastLeaderElection算法,3对应的是FastLeaderElection算法.默认使用FastLeaderElect..
分类:
编程语言 时间:
2015-05-08 00:17:59
阅读次数:
174
如何在zookeeper集群中选举出一个leader,zookeeper使用了三种算法,具体使用哪种算法,在配置文件中是可以配置的,对应的配置项是”electionAlg”,其中1对应的是LeaderElection算法,2对应的是AuthFastLeaderElection算法,3对应的是Fast...
分类:
编程语言 时间:
2015-05-07 18:42:03
阅读次数:
140