kafka学习(二)-zookeeper集群搭建

标签：

zookeeper概念

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名 服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制 不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。

1.角色

Zookeeper中的角色主要有以下三类，如下表所示：

 系统模型如图所示：

2.设计目的

• 1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。
• 2 .可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接受，那么它将被所有的服务器接受。
• 3 .实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。
• 4 .等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都能有效的等待。
• 5.原子性：更新只能成功或者失败，没有中间状态。
• 6 .顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

 zookeeper集群搭建

下面简单的介绍一下zookeeper的集群搭建，单个zookeeper的安装更简单，下面以集群搭建为例子。

我们设置并部署有三个节点的 ZooKeeper 集合体，必须在每个节点上遵循下面的步骤来启动 ZooKeeper 服务器。

1.环境准备

• 测试服务器（2n+1）奇数台
  

　　　　192.168.181.128 centos6.4

　　　　192.168.181.129 centos6.4

　　　　192.168.181.130 centos6.4

• 下载zookeeper安装包

　　　　http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/

• 修改hosts文件

　　　　192.168.181.128 test1

　　　　192.168.181.129 test2

　　　　192.168.181.130 test3

• 安装jdk，解压安装文件，检查防火墙

2.设计安装目录

• 安装目录：/home/rtmap
• Datadir:/data/zookeeper
• 存放快照：/data/zookeeper/zkdata
• 存在事务：/data/zookeeper/zkdatalog
• 存在日志：/data/zookeeper/logs

3.修改配置文件

#进入conf目录
/home/rtmap/zookeeper-3.4.8/conf
#查看
[root@192.168.181.1128]$ ll
-rw-rw-r--. 1 1000 1000  535 Feb 20  2014 configuration.xsl
-rw-rw-r--. 1 1000 1000 2161 Feb 20  2014 log4j.properties
-rw-rw-r--. 1 1000 1000  922 Feb 20  2014 zoo_sample.cfg

#zoo_sample.cfg  这个文件是官方给我们的zookeeper的样板文件，给他复制一份命名为zoo.cfg，zoo.cfg是官方指定的文件命名规则。

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/zkdata
dataLogDir=/data/zookeeper/zkdatalog
clientPort=2181 #服务端口号
server.1=192.168.181.128:2888:3888
server.2=192.168.181.129:2888:3888
server.3=192.168.181.130:2888:3888
#server.1 这个1是服务器的标识也可以是其他的数字， 表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里
#192.168.181.128为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888

 配置文件解释：

#tickTime：
这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
#initLimit：
这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
#syncLimit：
这个配置项标识 Leader 与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是5*2000=10秒
#dataDir：
快照日志的存储路径
#dataLogDir：
事物日志的存储路径，如果不配置这个那么事物日志会默认存储到dataDir制定的目录，这样会严重影响zk的性能，当zk吞吐量较大的时候，产生的事物日志、快照日志太多
#clientPort：
这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。修改他的端口改大点

 在dataDir目录/data/zookeeper/下写一个myid文件，命令如下：

#server1
echo "1" > /data/zookeeper/zkdata/myid
#server2
echo "2" > /data/zookeeper/zkdata/myid
#server3
echo "3" > /data/zookeeper/zkdata/myid

注意：这个id是zookeeper的主机标示，每个主机id不同第二台是2 第三台是3，分别和上面的zoo.cfg文件的server.1，server.2，server.3对应。

4.修改日志

如果不做修改，默认zookeeper的日志输出信息都打印到了zookeeper.out文件中，这样输出路径和大小没法控制，因为日志文件没有轮转。所以需要修改日志输出方式。具体操作如下：

1、修改$ZOOKEEPER_HOME/bin目录下的zkEnv.sh文件，ZOO_LOG_DIR指定想要输出到哪个目录，ZOO_LOG4J_PROP，指定INFO,ROLLINGFILE的日志APPENDER.

2、修改$ZOOKEEPER_HOME/conf/log4j.properties文件的：zookeeper.root.logger的值 与前一个文件的ZOO_LOG4J_PROP 保持一致，该日志配置是以日志文件大小轮转的，如果想要按照天轮转，可以修改为DaliyRollingFileAppender.

5.启动服务并查看

• 启动服务

#进入到Zookeeper的bin目录下
cd /opt/zookeeper/zookeeper-3.4.6/bin
#启动服务（3台都需要操作）
./zkServer.sh start

注意：如果你启动台就去查看日志的话，可能会报错，不用管，那是因为没有链接上另外两个的3888端口。

• 检查服务状态　

#检查服务器状态
./zkServer.sh status

JMX enabled by default
Using config: /opt/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg  #配置文件
Mode: follower  #他是否为领导

注意：zk集群一般只有一个leader，多个follower，主一般是相应客户端的读写请求，而从主同步数据，当主挂掉之后就会从follower里投票选举一个leader出来。

参考文档：http://www.cnblogs.com/luotianshuai/p/5206662.html

kafka学习(二)-zookeeper集群搭建

标签：

原文地址：http://www.cnblogs.com/chushiyaoyue/p/5615267.html