zk干货

标签：影响   告警   数据一致性   安装   namenode   配置   硬盘   返回   响应   

分布式服务架构，解决统一命名，状态同步，集群管理，分布式应用配置项管理
为了减轻分布式应用程序所承担的协调任务,比如hadoop中多个NameNode节点，怎么管理与节点间信息同步，Hbase中master与slaver之间状态同步。

怎么干的？？？

既然是为了减轻协调任务，产生了角色，有老大leader，跟随的follower，观察的observer
leader，负责投票的发起和决议，更新系统参数状态。
follower，参与系统投票，接受返回客户端的请求
observer，接收写请求，转发给leader，不参与投票

为什么要选举？？？？？

心跳机制：Leader与Follower利用PING来感知对方的是否存活，当Leader无法相应PING时，将重新发起Leader选举。即Leader over了。
怎么样才能成为Leader？？？？
成为Leader的必要条件： Leader要具有最高的zxid；当集群的规模是n时，集群中大多数的机器（至少n/2+1）得到响应并follow选出的Leader。

服务器的选举状态，分为looking，leading，following和observer

looking:寻找leader状态，处于该状态需要进入选举流程
leading:leader状态，表明当前服务角色为leader
following:跟随者状态，leader已经选举出，表明当前为follower角色
observer:观察者状态
ZXID（zookeeper transaction id）：每个改变Zookeeper状态的操作都会形成一个对应的zxid，并记录到transaction log中。 这个值越大，表示更新越新
myid：服务器SID，一个数字,通过配置文件配置，唯一
SID：服务器的唯一标识

选举有两种情况，一是服务器启动的投票，二是运行期间的投票。

服务启动的投票：
每个服务器都发送一个投票（SID，ZXID），开始的时候都是选举自己当Leader，集群的每个服务器收到投票后，首先判断该投票的有效性，如检查是否是本轮投票、是否来自LOOKING状态的服务器。针对每个投票，依据规则与自己的投票进行pk，pk后根据情况是否更新投票，再发送给其他机器，

规则：
优先检查ZXID，较大的优先成为Leader，
如果ZXID一样，SID较大的优先成为Leader，

统计票结果，是否满足要求选举了Leader，一旦确定了，每个服务器都更新自己的状态，Leader变更为Leading，Follower变更为following。

运行期间投票：
当Leader宕机后，余下的所非Observer的服务器都会将自己的状态变更为Looking，然后开启新的Leader选举流程，生成新的(SID,ZXID)信息，后续就与气动一样了，

选举实现的核心思想是：首先创建一个 EPHEMERAL 目录节点，例如“ /election ”。然后。每一个 ZooKeeper 服务器在此目录下创建一个 SEQUENCE| EPHEMERAL 类型的节点，例如“ /election/n_ ”。在 SEQUENCE 标志下， ZooKeeper 将自动地为每一个 ZooKeeper 服务器分配一个比前一个分配的序号要大的序号。此时创建节点的 ZooKeeper 服务器中拥有最小序号编号的服务器将成为 Leader 。

在实际的操作中，还需要保障：当 Leader 服务器发生故障的时候，系统能够快速地选出下一个 ZooKeeper 服务器作为 Leader 。一个简单的解决方案是，让所有的 follower 监视 leader 所对应的节点。当 Leader 发生故障时， Leader 所对应的临时节点将会自动地被删除，此操作将会触发所有监视 Leader 的服务器的 watch 。这样这些服务器将会收到 Leader 故障的消息，并进而进行下一次的 Leader 选举操作。但是，这种操作将会导致“从众效应”的发生，尤其当集群中服务器众多并且带宽延迟比较大的时候，此种情况更为明显。

在 Zookeeper 中，为了避免从众效应的发生，它是这样来实现的：每一个 follower 对 follower 集群中对应的比自己节点序号小一号的节点（也就是所有序号比自己小的节点中的序号最大的节点）设置一个 watch 。只有当 follower 所设置的 watch 被触发的时候，它才进行 Leader 选举操作，一般情况下它将成为集群中的下一个 Leader 。很明显，此 Leader 选举操作的速度是很快的。因为，每一次 Leader 选举几乎只涉及单个 follower 的操作。
————————————————————————————————
这个的意思就是：比如一个节点5watch节点4，当4开始有动作的时候5才开始，而不至于Leader有问题，同时所有的节点都发起投票。
这里有一个问题就是如何保证这个投票的ZXID？？？？

Paxos算法解决的什么问题呢，解决的就是保证每个节点执行相同的操作序列。好吧，这还不简单，master维护一个全局写队列，所有写操作都必须 放入这个队列编号，那么无论我们写多少个节点，只要写操作是按编号来的，就能保证一致性。没错，就是这样，可是如果master挂了呢。
Paxos算法通过投票来对写操作进行全局编号，同一时刻，只有一个写操作被批准，同时并发的写操作要去争取选票，只有获得过半数选票的写操作才会被 批准（所以永远只会有一个写操作得到批准），其他的写操作竞争失败只好再发起一
轮投票，就这样，在日复一日年复一年的投票中，所有写操作都被严格编号排 序。编号严格递增，当一个节点接受了一个
编号为100的写操作，之后又接受到编号为99的写操作（因为网络延迟等很多不可预见原因），它马上能意识到自己 数据不一致了，自动停止对外服务并重启同步过程。任何一个节点挂掉都不会影响整个集群的数据一致性（总2n+1台，除非挂掉大于n台）。

这个是里边有几个zk术语写的不错
https://juejin.im/post/5bab525df265da0aa74f2f73

这个总结的知识点多，比较散不系统，可以看看
https://youzhixueyuan.com/architecture-design-and-application-scenario-of-zookeeper.html

zk的核心：Zab协议：恢复和广播，
这个连接比较详细
https://zhuanlan.zhihu.com/p/60352367
zk的watch机制就是实现管理分布式配置的，https://www.jianshu.com/p/abde992b9060
节点配置信息发生更改，watch管理器就会向客户端发起回调，实现管理分布式更新。

zk的监控可以用淘宝的或者zkui，
zkui安装需要用到maven环境，如果有bin模式的最好下载bin模式，不要用源码自己安装，配置连接：https://blog.csdn.net/yy1300326388/article/details/45027775
下载地址；https://maven.apache.org/download.cgi
注意，提前监测javac命令是否存在，
echo stat | nc 127.0.0.1 2181 可能提示命令没有在whitelist里边，需要给zkServer.sh配置一个参数
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
重启zkServer.sh restart即可

Zookeeper监控
对于zookeeper的监控，我们可以使用zk提供的4字命令返回的内容进行解析监控
当然，你也可以使用淘宝的开源工具TaoKeeper进行监控。Zookeeper的监控包括下面几个方面：
1、机器的CPU、内存、负载、硬盘IO利用率等基础监控，这些均可以网管系统实现；
2、ZK日志目录所在磁盘空间监控，这可以针对性的监控；
3、各节点的进程监控，配置自动拉起等；
4、各节点的连接数监控，配置峰值告警；
5、各节点的Watcher数监控，配置峰值告警；
6、使用四字命令，对每个节点进行检查，确保进程不僵死；
7、节点存活个数监控；

zk几个实际的应用及优化建议案例
https://data.qq.com/article?id=2863

zk干货

标签：影响   告警   数据一致性   安装   namenode   配置   硬盘   返回   响应   

原文地址：https://blog.51cto.com/aklaus/2452450