码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop初学指南(10)--ZooKeeper的集群安装和操作

时间:2014-07-03 14:02:30      阅读:269      评论:0      收藏:0      [点我收藏+]

标签:同步   hadoop   集群   

本文简单介绍了ZooKeeper的基本知识。


(1)概述

①什么是ZooKeeper?

Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务

它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等

②Zookeeper的角色

bubuko.com,布布扣

③为什么使用Zookeeper?

大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等)

目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制

协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器

ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用

④Zookeeper的特性

Zookeeper是简单的

Zookeeper是富有表现力的

Zookeeper具有高可用性

Zookeeper采用松耦合交互方式

Zookeeper是一个资源库


(2)安装

①解压

命令:tar -zvxf zookeeper-3.4.5.tar.gz

②为了以后操作方便重命名解压后文件夹

命令:mv zookeeper-3.4.5 zk

③设置环境变量

命令:vim /etc/profile

增加ZOOKEEPER_HOME并修改PATH

bubuko.com,布布扣

修改完成之后重新加载配置:

source /etc/profile

④修改zookeeper配置文件

修改在zk/conf下zoo_sample.cfg为zoo.cfg,并编辑该文件

bubuko.com,布布扣

其中dataDir表示集群的数据,server.后面的编号表示zookeeper集群主机的编号,hadoop0是我的主机名,2888与3888是端口,2888是zookeeper角色的端口,3888是zookeeper传输数据的端口。


⑤创建文件夹/usr/local/zk/data,并在文件夹中创建myid文件,内容为当前主机对应的zookeeper集群编号,例如当前主机是hadoop0,myid文件内容如下:

bubuko.com,布布扣

⑥同理修改其他主机上的文件,也可以用scp进行复制。


⑦启动zookeeper

进入bin目录下执行启动命令,命令如下:

zkServer.sh start

bubuko.com,布布扣

此时,hadoop0节点的zookeeper集群启动,而后可以看一下zookeeper.out文件,内容如下:

bubuko.com,布布扣

可以看到集群已经识别myid文件,而由于其他节点的集群没有启动所以会报错,此时只需要把其他节点中的集群启动即可。


(3)Zookeeper的角色

领导者(leader),负责进行投票的发起和决议,更新系统状态

学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票

Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度

客户端(client),请求发起方


启动集群后,可以使用zkServer.sh status来查看角色

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣



(3)zookeeper的shell基本操作

使用zkCli.sh可以进入zookeeper的shell操作端

bubuko.com,布布扣

键入help(任意不支持的命令即可)可以查看支持的命令:

bubuko.com,布布扣

使用ls /查看目录,同时也可以看到zookeeper会自动累加操作命令数:

bubuko.com,布布扣

创建节点并查看:

bubuko.com,布布扣

此时,如果用其他节点登录,可以看到数据已经同步到集群中了。

本文出自 “Xlows” 博客,请务必保留此出处http://xlows.blog.51cto.com/5380484/1433662

Hadoop初学指南(10)--ZooKeeper的集群安装和操作,布布扣,bubuko.com

Hadoop初学指南(10)--ZooKeeper的集群安装和操作

标签:同步   hadoop   集群   

原文地址:http://xlows.blog.51cto.com/5380484/1433662

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!