ZooKeeper的学习与应用

1. ZooKeeper的学习与应用

1.1. 概述

    ZooKeeper是Apache在非常多云计算项目中的一个，与Hadoop密切相关，这样的情况导致我一開始觉得ZooKeeper的搭建须要Hadoop项目作为支持，可是最后发现全然不须要，它是能够单独执行的一个项目。

    在网上看到了一个非常不错的关于ZooKeeper的介绍： 顾名思义动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都採用到了 Zookeeper。ZooKeeper是一个分布式的，开放源代码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。

    从介绍能够看出，ZooKeeper更倾向于对大型应用的协同维护管理工作。IBM则给出了IBM对ZooKeeper的认知： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中常常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

    总之，我觉得它的核心词就是一个单词，协调。

1.2. ZooKeeper的特征

    在Hadoop权威指南中看到了关于ZooKeeper的一些核心特征，阅读之后感觉总结的甚是精辟，在这里引用并总结。

1.2.1. 简易

    ZooKeeper的最重要核心就是一个精简文件系统，提供一些简单的操作以及附加的抽象（比如排序和通知）。

1.2.2. 易表达

    ZooKeeper的原型是一个丰富的集合，它们是一些已建好的块，能够用来构建大型的协作数据结构和协议，比如：分布式队列、分布式锁以及一组对等体的选举。

1.2.3. 高可用性

    ZooKeeper执行在一些集群上，被设计成可用性较高的，因此应用程序能够依赖它。ZooKeeper能够帮助你的系统避免单点故障，从而建立一个可靠的应用程序。

1.2.4. 松散耦合

    ZooKeeper的交互支持參与者之间并不了解对方。比如：ZooKeeper能够被当做一种公共的机制，使得进程彼此不知道对方的存在也能够相互发现而且交互，对等方可能甚至不是同步的。

    这一特点我感觉最能体如今集群的部署启动过程中。像Hadoop当把配置文件写好之后，然后执行启动脚本，则251，241，242中作为集群的虚拟机是同步启动的，也就是DataNode，NameNode，TaskTracker，以及JobTracker的启动并执行时在一次启动过程中启动的，就是执行一次启动脚本文件，则都启动起来。可是ZooKeeper的启动过程却不是这种。我在251，241，242部署了ZooKeeper集群，并进行启动，则启动的过程是这种：首先ssh到251然后启动，这时候251的集群节点启动起来，可是控制台一直报错，大概的含义就是没有检測到其它两个结点。接着分别ssh到241，242，分别启动集群中的剩下的结点，当241启动起来时，回到251查看，发现报错的信息降低，意思是仅仅差一个结点。当251，241，242三台server的结点所有启动起来，则三台的server的控制台打印出正常的信息。

1.2.5. ZooKeeper是一个库

    ZooKeeper提供了一个开源的、共享的运行存储，以及通用协作的方法，分担了每一个程序猿写通用协议的负担。随着时间的推移，人们能够添加和改进这个库来满足自己的需求。

1.3. Zookeeper基本知识

    在这一小结，我介绍关于ZooKeeper的一些基本理论知识，以便对ZooKeeper有一个基本感性的认识吧，因为学习的时间不长，有些的认识可能是比較片面的，之后假设有了更深层次的认识，会补充于之后的月总结中。

1.3.1. 层次化的名字空间

    ZooKeeper的整个名字空间的结构是层次化的，和一般的Linux文件系统结构非常相似，一颗非常大的树。这也就是ZooKeeper的数据结构情况。名字空间的层次由斜杠/来进行切割，在名称空间里面的每个结点的名字空间唯一由这个结点的路径来确定。

图3.1 ZooKeeper的层次化名字空间

    每个节点拥有自身的一些信息，包含：数据、数据长度、创建时间、改动时间等等。从这样一类既含有数据，又作为路径表标示的节点的特点中，能够看出，ZooKeeper的节点既能够被看做是一个文件，又能够被看做是一个文件夹，它同一时候具有二者的特点。为了便于表达，今后我们将使用Znode来表示所讨论的ZooKeeper节点。

1.3.2. Znode

    Znode维护着数据、ACL（access control list，訪问控制列表）、时间戳等交换版本等数据结构，它通过对这些数据的管理来让缓存生效而且令协调更新。每当Znode中的数据更新后它所维护的版本将添加，这很类似于数据库中计数器时间戳的操作方式。

另外Znode还具有原子性操作的特点：命名空间中，每个Znode的数据将被原子地读写。读操作将读取与Znode相关的全部数据，写操作将替换掉全部的数据。除此之外，每个节点都有一个訪问控制列表，这个訪问控制列表规定了用户操作的权限。

    ZooKeeper中相同存在暂时节点。这些节点与session同一时候存在，当session生命周期结束，这些暂时节点也将被删除。暂时节点在某些场合也发挥着很关键的数据。

1.3.3. Watch机制

    Watch机制就和单词本身的意思一样，看。看什么？详细来讲就是某一个或者一些Znode的变化。官方给出的定义：一个Watch事件是一个一次性的触发器，当被设置了Watch的数据发生了改变的时候，则server将这个改变发送给设置了Watch的client，以便通知它们。

Watch机制主要有下面三个特点：

1 一次性的触发器（one-time trigger）

    当数据改变的时候，那么一个Watch事件会产生而且被发送到client中。可是client仅仅会收到一次这种通知，假设以后这个数据再次发生改变的时候，之前设置Watch的client将不会再次收到改变的通知，由于Watch机制规定了它是一个一次性的触发器。

2 发送给client

    这个表明了Watch的通知事件是从server发送给client的，是异步的，这就表明不同的client收到的Watch的时间可能不同，可是ZooKeeper有保证：当一个client在看到Watch事件之前是不会看到结点数据的变化的。比如：A=3，此时在上面设置了一次Watch，假设A突然变成4了，那么client会先收到Watch事件的通知，然后才会看到A=4。

3被设置Watch的数据

    这表明了一个结点能够变换的不同方式。一个Znode变化方式有两种，结点本身数据的变化以及结点孩子的变化。因此Watch也能够设置为这个Znode的结点数据，当然也能够设置为Znode结点孩子。

1.3.4. ACL訪问控制列表

    这是另外一个和Linux操作系统很相似的地方，ZooKeeper使用ACL来控制对旗下Znode结点们的訪问。ACL的实现和Linux文件系统的訪问权限十分类似：它通过设置权限为来表明是否同意对一个结点的相关内容的改变。

    可是与传统Linux机制不太同样，一个结点的数据没有类似“拥有者，组用户，其它用户”的概念，在ZooKeeper中，ACL通过设置ID以及与其关联的权限来完毕訪问控制的。ACL的权限组成语法是：

(scheme:expression, perms)

前者表明设置的ID，逗号后面表示的是ID相关的权限，比如：

 (ip:172.16.16.1, READ)

指明了IP地址为如上的用户的权限为仅仅读。

下面列举下面ACL所具有的权限

CREATE：表明你能够创建一个Znode的子结点。

READ：你能够得到这个结点的数据以及列举该结点的子结点情况。

WRITE：设置一个结点的数据。

DELETE：能够删除一个结点

ADMIN：对一个结点设置权限。

1.4. ZooKeeper的部署以及简单使用

    要想使用ZooKeeper，首先就要把它部署在server上跑起来，就想Apache，Tomcat，FtpServer等server一样。ZooKeeper的部署方式主要有三种，单机模式、伪集群模式、集群模式。事实上剩下的两种模式都是集群模式的特殊情况。

1.4.1. 主要的环境变量配置

    Java大型的项目中，环境变量的配置非常重要，假设没有非常好的配置环境变量的话，甚至项目连启动都是难事。

export ZOOKEEPER_HOME=/home/zookeeper-3.3.3

export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

    1.4.2. ZooKeeper的单机模式部署

ZooKeeper的单机模式一般是用来高速測试client应用程序的，在实际过程中不可能是单机模式。单机模式的配置也比較简单。

l 编写配置文件zoo.cfg

    zookeeper-3.3.3/conf目录以下就是要编写配置文件的位置了。在目录以下新建一个文件zoo.cfg。ZooKeeper的执行默认是读取zoo.cfg文件中面的内容的。以下是一个最简单的配置文件的例子：

tickTime=2000

dataDir=/var/zookeeper

clientPort=2181

    在这个文件里，我们须要指定 dataDir 的值，它指向了一个文件夹，这个文件夹在開始的时候须要为空。以下是每一个參数的含义：

tickTime ：基本事件单元，以毫秒为单位。这个时间是作为 Zookeeper server之间或client与server之间维持心跳的时间间隔，也就是每一个 tickTime 时间就会发送一个心跳。 

dataDir ：存储内存中数据库快照的位置，顾名思义就是 Zookeeper 保存数据的文件夹，默认情况下，Zookeeper 将写数据的日志文件也保存在这个文件夹里。 

clientPort ：这个port就是client连接 Zookeeper server的port，Zookeeper 会监听这个port，接受client的訪问请求。

    使用单机模式时用户须要注意：这样的配置方式下没有 ZooKeeper 副本，所以假设 ZooKeeper server出现问题， ZooKeeper 服务将会停止。

l 执行执行脚本

    在zookeeper-3.3.3/bin目录以下执行zkServer.sh就可以，执行完成之后则ZooKeeper服务变启动起来。

./zkServer.sh start

    脚本默认调用zoo.cfg里面的配置，因此程序正常启动。

1.4.3. ZooKeeper的集群模式部署

    ZooKeeper的集群模式下，多个Zookeeperserver在工作前会选举出一个Leader，在接下来的工作中这个被选举出来的Leader死了，而剩下的Zookeeperserver会知道这个Leader死掉了，在活着的Zookeeper集群中会继续选出一个Leader，选举出Leader的目的是为了能够在分布式的环境中保证数据的一致性。如图所看到的：

图3.2 ZooKeeper集群模式图

l 确认集群server的数量

    因为ZooKeeper集群中，会有一个Leader负责管理和协调其它集群server，因此server的数量通常都是单数，比如3，5，7...等，这样2n+1的数量的server就能够同意最多n台server的失效。

l 编写配置文件

配置文件须要在每台server中都要编写，下面是一个配置文件的样本：

# Filename zoo.cfg

tickTime=2000

dataDir=/var/zookeeper/

clientPort=2181

initLimit=5

syncLimit=2

server.1=202.115.36.251:2888:3888

server.2=202.115.36.241:2888:3888

server.3=202.115.36.242:2888:3888

    initLimit：这个配置项是用来配置 Zookeeper 接受client（这里所说的client不是用户连接 Zookeeper server的client，而是 Zookeeper server集群中连接到 Leader 的 Follower server）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper server还没有收到client的返回信息，那么表明这个client连接失败。总的时间长度就是 5*2000=10 秒。

    syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒 

    server.A=B：C：D：当中 A 是一个数字，表示这个是第几号server；B 是这个server的 ip 地址；C 表示的是这个server与集群中的 Leader server交换信息的port；D 表示的是万一集群中的 Leader server挂了，须要一个port来又一次进行选举，选出一个新的 Leader，而这个port就是用来运行选举时server相互通信的port。假设是伪集群的配置方式，因为 B 都是一样，所以不同的 Zookeeper 实例通信port号不能一样，所以要给它们分配不同的port号。

l 创建myid文件

    除了改动 zoo.cfg 配置文件，集群模式下还要配置一个文件 myid，这个文件在 dataDir 文件夹下，这个文件中面就仅仅有一个数据就是 A 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比較从而推断究竟是那个 server。

l 执行执行脚本

    和单机模式下的执行方式基本同样，值得注意的地方就是要分别在不同server上执行一次，比如分别在251，241，242上执行：

./zkServer.sh start

这样才干使得整个集群启动起来。

1.4.4. ZooKeeper的集群伪分布

    事实上在企业中式不会存在的，另外为了測试一个client程序也没有必要存在，仅仅有在物质条件比較匮乏的条件下才会存在的模式。

集群伪分布模式就是在单机下模拟集群的ZooKeeper服务，在一台机器上面有多个ZooKeeper的JVM同一时候执行。

l 确认集群伪server的数量

    2n+1，和之前的集群分布同样。

l 编写配置文件

    在/conf目录新建三个配置文件，zoo1.cfg，zoo2.cfg以及zoo3.cfg。配置文件分别例如以下编写：

Zoo1.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_1

clientPort=2181

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

Zoo2.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_2

clientPort=2182

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

Zoo3.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_3

clientPort=2183

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

    因为三个服务都在同一台电脑上，因此这里要保证地址的唯一性，因此要特别注意IP地址和port号不要互相冲突，以免影响程序的正确运行。

l 创建myid文件

    这个同集群模式部署，在各自的目录以下创建。

l 执行执行脚本

    因为全部的配置文件都在/conf目录以下，因此要运行三次，并且要加文件名称的參数，不然会默认运行zoo.cfg这个文件，例如以下：

./zkServer.sh start zoo1.cfg

./zkServer.sh start zoo2.cfg

./zkServer.sh start zoo3.cfg

运行完毕后，将完毕ZooKeeper的集群伪分布的启动。

1.4.5. 通过ZooKeeper命令行工具訪问ZooKeeper

    ZooKeeper命令行工具类似于Linux的shell环境，只是功能肯定不及shell啦，可是使用它我们能够简单的对ZooKeeper进行訪问，数据创建，数据改动等操作。

当启动 ZooKeeper 服务成功之后，输入下述命令，连接到 ZooKeeper 服务：

zkCli.sh –server 202.115.36.251:2181

连接成功后，系统会输出 ZooKeeper 的相关环境以及配置信息，并在屏幕输出“ Welcome to ZooKeeper ”等信息。

命令行工具的一些简单操作例如以下：

1 ）使用 ls 命令来查看当前 ZooKeeper 中所包括的内容：

[zk: 202.115.36.251:2181(CONNECTED) 1] ls /

2 ）创建一个新的 znode ，使用 create /zk myData 。这个命令创建了一个新的 znode 节点“ zk ”以及与它关联的字符串：

[zk: 202.115.36.251:2181(CONNECTED) 2] create /zk "myData"

3 ）我们执行 get 命令来确认 znode 是否包括我们所创建的字符串：

[zk: 202.115.36.251:2181(CONNECTED) 3] get /zk

4 ）以下我们通过 set 命令来对 zk 所关联的字符串进行设置：

[zk: 202.115.36.251:2181(CONNECTED) 4] set /zk "zsl"

5 ）以下我们将刚才创建的 znode 删除：

[zk: 202.115.36.251:2181(CONNECTED) 5] delete /zk

1.4.6. 使用API来訪问ZooKeeper

    API訪问ZooKeeper才是client基本的使用手段，通过在client编写丰富多彩的程序，来达到对ZooKeeper的利用。这里给出一个简单的样例：（深入的还没能力给出啊，样例是从网上找的非常清晰明了）

1. import java.io.IOException;

2.

3. import org.apache.zookeeper.CreateMode;

4. import org.apache.zookeeper.KeeperException;

5. import org.apache.zookeeper.Watcher;

6. import org.apache.zookeeper.ZooDefs.Ids;

7. import org.apache.zookeeper.ZooKeeper;

8.

9. public class demo {

10.     // 会话超时时间，设置为与系统默认时间一致

11.     private static final int SESSION_TIMEOUT=30000;

12.    

13.     // 创建 ZooKeeper 实例

14.     ZooKeeper zk;

15.    

16.     // 创建 Watcher 实例

17.     Watcher wh=new Watcher(){

18.            public void process(org.apache.zookeeper.WatchedEvent event)

19.            {

20.                    System.out.println(event.toString());

21.            }

22.     };

23.    

24.     // 初始化 ZooKeeper 实例

25.     private void createZKInstance() throws IOException

26.     {             

27.            zk=new ZooKeeper("localhost:2181",demo.SESSION_TIMEOUT,this.wh);

28.           

29.     }

30.    

31.     private void ZKOperations() throws IOException,InterruptedException,KeeperException

32.     {

33.            System.out.println("\n1. 创建 ZooKeeper 节点 (znode ： zoo2, 数据： myData2 ，权限： OPEN_ACL_UNSAFE ，节点类型： Persistent");

34.            zk.create("/zoo2","myData2".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

35.           

36.            System.out.println("\n2. 查看是否创建成功： ");

37.            System.out.println(new String(zk.getData("/zoo2",false,null)));

38.                           

39.            System.out.println("\n3. 改动节点数据 ");

40.            zk.setData("/zoo2", "shenlan211314".getBytes(), -1);

41.           

42.            System.out.println("\n4. 查看是否改动成功： ");

43.            System.out.println(new String(zk.getData("/zoo2", false, null)));

44.                           

45.            System.out.println("\n5. 删除节点 ");

46.            zk.delete("/zoo2", -1);

47.           

48.            System.out.println("\n6. 查看节点是否被删除： ");

49.            System.out.println(" 节点状态： ["+zk.exists("/zoo2", false)+"]");

50.     }

51.    

52.     private void ZKClose() throws  InterruptedException

53.     {

54.            zk.close();

55.     }

56.    

57.     public static void main(String[] args) throws IOException,InterruptedException,KeeperException {

58.            demo dm=new demo();

59.            dm.createZKInstance( );

60.            dm.ZKOperations();

61.            dm.ZKClose();

62.     }

63.}

    此类包括两个基本的 ZooKeeper 函数，分别为 createZKInstance （）和 ZKOperations （）。当中 createZKInstance （）函数负责对 ZooKeeper 实例 zk 进行初始化。 ZooKeeper 类有两个构造函数，我们这里使用  “ ZooKeeper （ String connectString, ， int sessionTimeout, ， Watcher watcher ）”对其进行初始化。因此，我们须要提供初始化所需的，连接字符串信息，会话超时时间，以及一个 watcher 实例。 17 行到 23 行代码，是程序所构造的一个 watcher 实例，它可以输出所发生的事件。

    ZKOperations （）函数是我们所定义的对节点的一系列操作。它包含：创建 ZooKeeper 节点（ 33 行到 34 行代码）、查看节点（ 36 行到 37 行代码）、改动节点数据（ 39 行到 40 行代码）、查看改动后节点数据（ 42 行到 43 行代码）、删除节点（ 45 行到 46 行代码）、查看节点是否存在（ 48 行到 49 行代码）。另外，须要注意的是：在创建节点的时候，须要提供节点的名称、数据、权限以及节点类型。此外，使用 exists 函数时，假设节点不存在将返回一

个 null 值。

1.5. 小结

    对于ZooKeeper的认识眼下处在比較浅显的状态，了解到了主要的服务的部署以及大概ZooKeeper的工作原理。非常多东西都是仅仅懂得皮毛，如今可以深深地感受到“仅仅有结合详细的应用才干使你对一个东西有较深的了解”这句话的深刻含义了。