码迷,mamicode.com
首页 > 其他好文 > 详细

Zookeeper原理

时间:2018-12-10 23:34:06      阅读:455      评论:0      收藏:0      [点我收藏+]

标签:成功   就是   data-   ali   密码加密   master   区别   读数   get   

Zookeeper概念简介:

Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务

A、zookeeper是为别的分布式程序服务的

B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务)

C、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……

D、虽然说可以提供各种服务,但是zookeeper在底层其实只提供了两个功能:

管理(存储,读取)用户程序提交的数据;

并为用户程序提供数据节点监听服务;

Zookeeper集群的角色:  Leader 老大 和  follower  小弟 (Observer)观察者

只要集群中有半数以上节点存活,集群就能提供服务

Zookeeper集群机制

半数机制:集群中半数以上机器存活,集群可用。

zookeeper适合装在奇数台机器上!!!

Zookeeper特点

1全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的

2、可靠性:具有简单、健壮、良好的性能,如果消息m被一台服务器接受,那么它将被所有的服务器接受。

3、等待无关(wait-free):慢的或者失效的client,不得干预快速的client的请求,使得每个client都能有效的等待。

4、顺序性:包括全局有序和偏序两种:

  全局有序:是指如果在一台服务器上消息a在消息b前发布,则在所有Server上消息a都将在消息b前被发布;

  偏序:是指如果一个消息b在消息a后被同一个发送者发布,a必将排在b前面

5、原子性:更新只能成功或者失败,没有中间状态

6、实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。

   但由于网络延时等原因,Zookeeper不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用sync()接口。

集群角色

在 ZooKeeper 中,有三种角色:

  • Leader

  • Follower

  • Observer

一个 ZooKeeper 集群同一时刻只会有一个 Leader,其他都是 Follower 或 Observer。

ZooKeeper 默认只有 Leader 和 Follower 两种角色,没有 Observer 角色。为了使用 Observer 模式,

在任何想变成Observer的节点的配置文件中加入:peerType=observer 并在所有 server 的配置文件中,

配置成 observer 模式的 server 的那行配置追加 :observer,例如:server.1:localhost:2888:3888:observer

ZooKeeper 集群的所有机器通过一个 Leader 选举过程来选定一台被称为Leader的机器,Leader服务器为客户端提供读和写服务。

Follower 和 Observer 都能提供读服务,不能提供写服务。两者唯一的区别在于,Observer 机器不参与 Leader 选举过程,也不参与写操作的 过半写成功 策略,因此 Observer 可以在不影响写性能的情况下提升集群的读性能。

Zookeeper原理

Zookeeper虽然在配置文件中并没有指定masterslave

但是,zookeeper工作时,是有一个节点为leader,其他则为follower

Leader是通过内部的选举机制临时产生的

Zookeeper的选举机制(全新集群paxos

以一个简单的例子来说明整个选举的过程.
假设有五台服务器组成的zookeeper集群,它们的id1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的.假设这些服务器依序启动,来看看会发生什么.
1) 服务器1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是LOOKING状态
2) 服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1,2还是继续保持LOOKING状态.
3) 服务器3启动,根据前面的理论分析,服务器3成为服务器1,2,3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的leader.
4) 服务器4启动,根据前面的分析,理论上服务器4应该是服务器1,2,3,4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了.
5) 服务器5启动,4一样,当小弟.

非全新集群的选举机制(数据恢复)

那么,初始化的时候,是按照上述的说明进行选举的,但是当zookeeper运行了一段时间之后,有机器down掉,重新选举时,选举过程就相对复杂了。

需要加入数据idleader id和逻辑时钟。

数据id:数据新的id就大,数据每次更新都会更新id

Leader id:就是我们配置的myid中的值,每个机器一个。

逻辑时钟:这个值从0开始递增,每次选举对应一个值,也就是说:  如果在同一次选举中,那么这个值应该是一致的 ;  逻辑时钟值越大,说明这一次选举leader的进程更新.

选举的标准就变成:

1、逻辑时钟小的选举结果被忽略,重新投票

2、统一逻辑时钟后,数据id大的胜出

3、数据id相同的情况下,leader id大的胜出

根据这个规则选出leader

Zookeeper数据结构

1、层次化的目录结构,命名符合常规文件系统规范(见下图)

2、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识

3、节点Znode可以包含数据和子节点(但是EPHEMERAL类型的节点不能有子节点)

4、客户端应用可以在节点上设置监视器

技术分享图片

 

节点类型

1Znode有两种类型:

短暂(ephemeral)(断开连接自己删除)

持久(persistent)(断开连接不删除)

2Znode四种形式的目录节点(默认是persistent

PERSISTENT

PERSISTENT_SEQUENTIAL(持久序列/test0000000019

EPHEMERAL

EPHEMERAL_SEQUENTIAL

3、创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护

4、在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序

ZookeeperACL权限控制列表

aclAccess control lists 的缩写,也就是权限控制列表:

针对节点可以设置相关读写等权限,目的是为了保障数据安全性

权限permissions可以指定不同的权限范围以及角色

Zookeeper中一个ACL和一个ZooKeeper节点相对应。并且,父节点的ACL与子节点的ACL是相互独立的。也就是说,ACL不能被子节点所继承,父节点所拥有的权限与子节点所用的权限都没有任何关系。

ACL构成

技术分享图片

Zookeeper支持可配置的认证机制。它利用一个三元组来定义客户端的访问权限:(scheme:expression, perms) 

  • scheme:代表采用的某种权限机制
  • id:代表允许访问的用户
  • permissions:权限组合字符串

 

scheme类型

 

  • orldworld下只有一个id,即只有一个用户,也就是anyone,那么组合的写法就是 world:anyone:[permissions]
  • ip:当设置为ip指定的ip地址,此时限制ip进行访问,比如ip:192.168.77.130:[permissions]
  • auth:代表认证登录,需要注册用户获取权限后才可以登录访问,形式为 auth:userpassword:[permissions]
  • digest:需要对密码加密才能访问,组合形式为:

 

    digest:username:BASE64(SHA1(password)):[permissions]

 

    authdigest的区别就是,前者使用明文密码进行登录,后者使用密文密码进行登录。setAcl /path auth:lee:lee:cdrwa setAcl /path digest:lee:BASE64(SHA1(password)):cdrwa是等价的,

    在通过 addauth digest lee:lee 后都能操作指定节点的权限。在实际情况中,digest要更为常用一些

 

  • super:代表超级管理员,拥有所有的权限

 

permissions类型

 

  • 权限字符串缩写 crdwa
  • CREATE:创建子节点权限
  • READ:访问节点/子节点权限
  • WRITE:设置节点数据权限
  • DELETE:删除子节点权限
  • ADMIN:管理员权限

 

ACL命令

 

  • getAcl 获取某个节点的acl权限信息
  • setAcl 设置某个节点的acl权限信息
  • addauth 输入认证授权信息,注册时输入明文密码(登录),但是在zk的系统里,密码是以加密后的形式存在的

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Zookeeper原理

标签:成功   就是   data-   ali   密码加密   master   区别   读数   get   

原文地址:https://www.cnblogs.com/dummyly/p/10099794.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!