码迷,mamicode.com
首页 > 其他好文 > 详细

zookeeper基本概念和功能

时间:2019-02-19 16:25:50      阅读:296      评论:0      收藏:0      [点我收藏+]

标签:follow   stand   特定   需要   算法   设计   通信   监听服务   meta   

2019/2/19 星期二

zookeeper基本概念和功能

zookeeper是hadoop生态圈里面重要的底层的框架,主要为上层的框架提供分布式协调服务的。

hadoop-spof 问题及HA 解决思路
引入集群协调服务框架的必要性

zookeeper 简介
ZooKeeper 是一个分布式应用程序协调服务,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。
目前zookeeper 被广泛应用于hadoop 生态体系中各种框架的分布式协调,我们也可以利用zookeeper 来简化分布式应用开发

Zk简介
1、zookeeper翻译成英文叫动物园管理员 动物员管理员的作用是什么呢??
2、让大象(hadoop),蜂巢(hive) ,猪(pig)能够更友好的在一起,以上几种都是hadoop的组件
3、ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务
4、zookeeper其实就是一个软件,所有安装了zookeeper的服务器都叫?zookeeper server
5、zookeeper server 还分为两类角色,由 leader 和 follower 组成,如果leader挂掉,会有选举机制,follower直接替换leader ,leader只有一个,剩下的都是follower
6、zookeeper 的所有服务器中的所有数据结构(树形结构)是完全相同的,就是说我搭建一个zookeeper集群,集群里面所有机器的数据是一样的
7、数据是树形结构的,与linux目录结构是一样一样的,zk的每个数据目录就是一个znode
8、我需要运行几个ZooKeeper? 你运行一个zookeeper也是可以的,但是在生产环境中,你最好部署3,5,7个节点。部署的越多,可靠性就越高,当然最好是部署奇数个,偶数个不是不可以的,但是zookeeper集群是以宕机个数过半才会让整个集群宕机的,所以奇数个集群更佳

zk对hdfs HA高可用集群的作用?
1、qjn集群(edit日志管理系统 HA的)需要zk集群去实现,协调服务。
2、namenode谁是active谁是standay 记录在zk中
3、zkfc就是基于zk实现的失败切换控制器

zk对yarn 集群HA的作用?
1、谁是recoursemanager active谁是从的RM 记录在zk中
基本同hdfs中在作用一样

zk对hbase集群HA的作用?
1、谁是hmaster记录在zk中
2、zk留存了服务器健康状态与是否可用的信息,并提供服务器故障通知,通过zookeeper cluster可以获取当前系统表.META.的存储所对应的regionserver信息。
3、zk用consensus协议来保障共享状态,需要注意的是,一份consensus协议需要3~5个机器参与(奇数个)。

Zk对kafka集群的作用?
1.当一个kafka broker启动后,首先会向zookeeper注册自己的节点信息(临时znode),同时当broker和zookeeper断开连接时,此znode也会被删除.
2.其中partition leader的位置(host:port)注册在zookeeper中

小结:
Zookeeper(第三方) 可以实现的分布式协调服务包括:
1、统一名称服务 //如果把每台服务器sever比作一台一台的资源的,客户端拿到的就是名称服务资源。
2、配置管理
3、分布式共享锁 //比如在分布式的每台服务器上都需要去修改一个共享资源,这个时候会产生冲突,
4、集群节点状态协调(负载均衡/主从协调)//服务器集群动态感知及失败切换 zkfc
小结:这上面4点功能并不是zk本身自带的功能,而是,这些功能可以利用zk来实现。
zookeeper的功能:
也就是第三方,要你查数据的时候,可以返还给客户端,所以具体他是不知道干什么的
(最重要的功能也就是替客户端保管数据,为客户提供数据的监听服务)

内部自己设计了自己分布式内存数据库(用于保管数据)

ZooKeeper 数据模型和层次命名空间
提供的命名空间与标准的文件系统非常相似。一个名称是由通过斜线分隔开的路径名序列所组成的。ZooKeeper 中的每一个节点是都通过路径来识别。

ZooKeeper 中的数据节点:
每一个节点称为znode,通过路径来访问
每一个znode 维护着:数据、stat 数据结构(ACL、时间戳及版本号)
znode 维护的数据主要是用于存储协调的数据,如状态、配置、位置等信息,每个节点存储的数据量很小,KB 级别
znode 的数据更新后,版本号等控制信息也会更新(增加)
znode 还具有原子性操作的特点:写--全部替换,读--全部
znode 有永久节点和临时节点之分:临时节点指创建它的session 一结束,该节点即被zookeeper 删除;

zk 性能:
Zookeeper 的读写速度非常快(基于内存数据库),并且读的速度要比写的速度更快。
顺序一致性:客户端的更新顺序与它们被发送的顺序相一致。
原子性:更新操作要么成功要么失败,没有第三种结果。
单系统镜像:无论客户端连接到哪一个服务器,客户端将看到相同的
ZooKeeper 视图。
可靠性:一旦一个更新操作被应用,那么在客户端再次更新它之前,它的值将不会改变。这个保证将会产生下面两种结果:
1 .如果客户端成功地获得了正确的返回代码,那么说明更新已经成功。如果不能够获得返回代码(由于通信错误、超时等等),那么客户端将不知道更新操作是否生效。
2 .当从故障恢复的时候,任何客户端能够看到的执行成功的更新操作将不会被回滚。
实时性:在特定的一段时间内,客户端看到的系统需要被保证是实时的。在此时间段内,任何系统的改变将被客户端看到,或者被客户端侦测到。给予这些一致性保证,ZooKeeper 更高级功能的设计与实现将会变得非常容易,
例如: leader 选举、队列以及可撤销锁等机制的实现。

zookeeper 集群组件:
同一个zookeeper服务下的server 有三种,一种是leader server,另一种是follower server,还有一种叫observer server;
leader特殊之处在于它有决定权,具有Request Processor(observer server 与follower server 的区别就在于不参与leader 选举)
zk中内部leader选举的算法:paxos

如果客户端修改zk集群中的数据的时候,首先集群中会找到leader 然后在leader上修改本地数据,然后每台follower会去同步信息

zk中的端口意思
(其中2181代表:客户端与服务器连接所用的端口)
(其中2888代表:leader与follower之间的通信用的端口)
(其中3888代表:follower之间选举投票用的端口)

zookeeper基本概念和功能

标签:follow   stand   特定   需要   算法   设计   通信   监听服务   meta   

原文地址:http://blog.51cto.com/12445535/2351885

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!