码迷,mamicode.com
首页 > 其他好文 > 详细

zookeeper

时间:2019-01-14 00:21:03      阅读:229      评论:0      收藏:0      [点我收藏+]

标签:最大   tree   war   实现   失败   接受   let   home   硬件   

一、相关概念

  • 分布式系统:是一个硬件或软件组件分布在网络中的不同的计算机上,彼此间仅通过消息传递进行通信和协作的系统。
  • 特征:分布性、并发性、缺乏全局时钟、故障必然会发生
  • 典型问题:通信异常、网络分区、三态(成功、失败、超时)、节点故障

CAP:

  • P:分区容错性;
    • CP:一致性;
    • AP:可用性

BASE:

  • BA:基本可用
  • S:软状态
  • E:最终一致性

保证分布式系统的一致性多种协议:

  • 2PC:2 Phase-Commit,请求和执行
  • 3PC:3 Phase-Commit,CanCommit->PreCommit->DoCommit
  • Paxos:Leslie Lamport,1990年提出
  • Google Chubby:分布式锁服务,GFS/BigTable都用到了chubby,分布式协作、元数据存储、Master选举

HDFS/HBase, Zookeeper:

  • zookeeper是一个开源的分布式协调服务,由知名互联网公司Yahoo创建,它是Chubby的开源实现;换句话将,zk是一个经典的分布式数据一致性解决方案,分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列

二、zk中的基本术语

  • 集群角色:Leader, Follower, Oberserver
    • Leader:选举产生,提供读/写服务;
    • Follower:参与选举,可被选举,提供读服务;
    • Observer:参与选举,不可被选举,提供读服务
  • 会话:zk中,客户端<-->服务端,tcp长连接
  • 数据节点(ZNode):即zk数据模型中的数据单元;zk的数据都存储于内存中,数据模型为树状结构(ZNode Tree);每个ZNode都会保存自己的数据于内存中;
    • 持久节点:仅显式删除才消失
    • 临时节点:会话中止即自动消失
  • 版本(version):zk会为每个ZNode维护一个称为Stat的数据结构,记录了当前ZNode的三个数据版本
    • version:当前版本
    • cversion:当前ZNode的子节点的版本
    • aversion:当前ZNode的ACL的版本
  • ACL:zk使用ACL机制进行权限控制
    • CREATE , READ , WRITE, ADMIN
  • 事件监听器(Watcher):zk上由用户指定的触发机制,在某些事件产生时,zk能够将其通知给相关的客户端
  • ZAB协议:Zookeeper Atomic Boradcast, zk原子广播协议;用于在支持Leader奔溃恢复机制,重新选举Leader,而且还确保数据的完整性和一致性
    • ZAB协议中存在三种状态:
      • Looking
      • Following
      • Leading
    • 四个阶段:
      • 选举:election
      • 发现:discovery
      • 同步:sync
      • 广播:broadcast

三、部署zookeeper

三种部署方式:单机模式、伪分布式模式、分布式模式

安装jdk

# yum install java-1.7.0-openjdk-devel -y
# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr
# . /etc/profile.d/java.sh
# java -version

1、单机模式

~]# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
~]# mkdir /data/zookeeper/ -pv
~]# tar xf zookeeper-3.4.9.tar.gz -C /usr/local/
~]# cd /usr/local/
local]# ln -sv zookeeper-3.4.9 zookeeper
local]# cd zookeeper/conf/
conf]# cp zoo_sample.cfg zoo.cfg
conf]# vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
#maxClientCnxns=60
server.1=192.168.0.17:2888:3888
#autopurge.snapRetainCount=3
#autopurge.purgeInterval=1
conf]# cd ../bin/
bin]# ./zkServer.sh start
  • 四字命令:监控zk
~]# telnet localhost 2181
ruok
stat
srvr
conf
cons
wchs
envi
...
  • cli命令
~]# cd /usr/local/zookeeper/bin/
bin]# ./zkCli.sh
create
ls
ls2
stat
delete
rmr
get
set
...
  • 配置参数
基本配置参数:
clinetPort=2181
dataDir=/data/zookeeper
dataLogDir:事务日志文件路径;
tickTime
存储配置参数:
preAllocSize:为事务日志预先分配的磁盘空间量,默认65535KB
snapCount:每多少次事务后执行一次快照操作,每事务的平均大小在100字节左右
autopurge.snpRetainCount:保留自动快照数
autopurge.purgeInterval:自动purge操作的时间间隔,0表示不启动
fsync.warningthiresholdms:zk进行事务日志的fsync操作时消耗的时长报警阈值
weight.X=N:判断quorum时投票权重,默认为1
网络配置参数:
maxClientCnxns:每客户端IP的最大并发连接数
clientPortAddress:zk监听的IP地址
minSessionTimeout:会话的最短超时时长
maxSessionTimeout:会话的最大超时时长
集群配置参数:
initLimit:Follower连入Leader并完成数据同步的时长
syncLimit:心跳检测的最大延迟
leaderServers:默认zk的leader接受读写请求,额外还要负责协调各Follower发来的事务等,因此,为使得Leader集中处理zk集群内部信息,建议不让Leader直接提供服务
cnxTimeout:Leader选举期间,各服务器创建TCP连接的超时时长
ellectionAlg:选举算法,目前仅支持FastLeaderElection算法一种
server.id=[hostname]:port:port[:observer]:集群内各服务器的属性参数
    第一个port:follwer与leader进行通信和数据同步时所使用的端口
    第二个port:leader选举时使用的端口
    observer:定义指定的服务器为observer

2、分布式模式

  • zk1:
###############node01:###############
~]# echo 1 > /data/zookeeper/myid
~]# vim /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
server.1=192.168.0.17:2888:3888
server.2=192.168.0.18:2888:3888
server.3=192.168.0.19:2888:3888
~]# /usr/local/zookeeper/bin/zkServer.sh start
  • zk2:
###############node02:###############
~]# echo 2 > /data/zookeeper/myid
~]# vim /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
server.1=192.168.0.17:2888:3888
server.2=192.168.0.18:2888:3888
server.3=192.168.0.19:2888:3888
~]# /usr/local/zookeeper/bin/zkServer.sh start
  • zk3:
###############node03:###############
~]# echo 3 > /data/zookeeper/myid
~]# vim /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
server.1=192.168.0.17:2888:3888
server.2=192.168.0.18:2888:3888
server.3=192.168.0.19:2888:3888
~]# /usr/local/zookeeper/bin/zkServer.sh start

注意:运行为集群模式时,每个节点在其数据目录中应该有一个myid文件,其内容仅为server的id

四、典型应用场景

  • 数据发布/订阅
  • 负载均衡
  • 命名服务
  • 分布式协调/通知
  • 集群管理
  • Master选举

zookeeper

标签:最大   tree   war   实现   失败   接受   let   home   硬件   

原文地址:https://www.cnblogs.com/L-dongf/p/10264832.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!