码迷,mamicode.com
首页 > 其他好文 > 详细

zookeeper集群搭建及优化

时间:2018-01-22 14:13:37      阅读:230      评论:0      收藏:0      [点我收藏+]

标签:local   pattern   ntp   搭建   通过命令   disable   方法   node节点   node   

zookeeper配置:三台集群。

zookeeper二进制包安装方法:
tar -xf zookeeper-3.4.6.tar.gz -C /usr/local
cd /usr/local
mv zookeeper-3.4.6 zookeeper

三台:
153:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/zookeeper
clientPort=2181
server.1=192.168.1.153:2888:3888
server.2=192.168.1.154:2888:3888
server.3=192.168.1.155:2888:3888
forceSync=yes
fsync.warningthresholdms=50
globalOutstandingLimit=100000
preAllocSize=64M
snapCount=100000
skipACL=yes
myid:这个需要手动创建
mkdir -p /var/zookeeper
cd /var/zookeeper
echo 1 myid
cat myid
1

154:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/zookeeper
clientPort=2181
server.1=192.168.1.153:2888:3888
server.2=192.168.1.154:2888:3888
server.3=192.168.1.155:2888:3888
forceSync=yes
fsync.warningthresholdms=50
globalOutstandingLimit=100000
preAllocSize=64M
snapCount=100000
skipACL=yes
myid:这个需要手动创建
mkdir -p /var/zookeeper
cd /var/zookeeper
echo 2 myid
cat myid
2

155:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/zookeeper
clientPort=2181
server.1=192.168.1.153:2888:3888
server.2=192.168.1.154:2888:3888
server.3=192.168.1.155:2888:3888
forceSync=yes
fsync.warningthresholdms=50
globalOutstandingLimit=100000
preAllocSize=64M
snapCount=100000
skipACL=yes
myid:这个需要手动创建
mkdir -p /var/zookeeper 创建数据目录
cd /var/zookeeper
echo 3 myid
cat myid
3

设置zookeeper的java虚拟机使用内存:
vim /usr/local/zookeeper/conf/java.env
export JVMFLAGS="-Xms2048m -Xmx2048m $JVMFLAGS" 此处的内存根据实际的内存做调整。

zookeeper服务端命令:

  1. 启动ZK服务: zkServer.sh start
  2. 查看ZK服务状态: zkServer.sh status
  3. 停止ZK服务: zkServer.sh stop
  4. 重启ZK服务: zkServer.sh restart

以上命令快捷使用方式:
echo ‘PATH=/usr/local/zookeeper/bin:$PATH‘ > /etc/profile.d/zookeeper.sh
source /etc/profile.d/zookeeper.sh
说明:其他服务也可以使用类似方案操作。

zookeeper客户端命令:

  1. 显示根目录下、文件: ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
  2. 显示根目录下、文件: ls2 / 查看当前节点数据并能看到更新次数等数据
  3. 创建文件,并设置初始内容: create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串
  4. 获取文件内容: get /zk 确认 znode 是否包含我们所创建的字符串
  5. 修改文件内容: set /zk "zkbak" 对 zk 所关联的字符串进行设置
  6. 删除文件: delete /zk 将刚才创建的 znode 删除
  7. 退出客户端: quit
  8. 帮助命令: help

    ZooKeeper 支持某些特定的四字命令字母与其的交互。它们大多是查询命令,用来获取 ZooKeeper 服务的当前状态及相关信息。用户在客户端可以通过 telnet 或 nc 向 ZooKeeper 提交相应的命令

  9. 可以通过命令:echo stat|nc 127.0.0.1 2181 来查看哪个节点被选择作为follower或者leader
  10. 使用echo ruok|nc 127.0.0.1 2181 测试是否启动了该Server,若回复imok表示已经启动。
  11. echo dump| nc 127.0.0.1 2181 ,列出未经处理的会话和临时节点。
  12. echo kill | nc 127.0.0.1 2181 ,关掉server
  13. echo conf | nc 127.0.0.1 2181 ,输出相关服务配置的详细信息。
  14. echo cons | nc 127.0.0.1 2181 ,列出所有连接到服务器的客户端的完全的连接 / 会话的详细信息。
  15. echo envi |nc 127.0.0.1 2181 ,输出关于服务环境的详细信息(区别于 conf 命令)。
  16. echo reqs | nc 127.0.0.1 2181 ,列出未经处理的请求。
  17. echo wchs | nc 127.0.0.1 2181 ,列出服务器 watch 的详细信息。
  18. echo wchc | nc 127.0.0.1 2181 ,通过 session 列出服务器 watch 的详细信息,它的输出是一个与 watch 相关的会话的列表。
  19. echo wchp | nc 127.0.0.1 2181 ,通过路径列出服务器 watch 的详细信息。它输出一个与 session 相

zookeeper服务优化

1.快照文件和事务日志文件分别挂在不同磁盘。zoo.cfg文件中,dataDir是存放快照数据的,dataLogDir是存放事务日志的。zookeeper更新操作过程:先写事务日志,再写内存,周期性落到磁盘(刷新内存到快照文件)。事务日志的对写请求的性能影响很大,保证dataLogDir所在磁盘性能良好、没有竞争者。

  1. 默认jvm没有配置Xmx、Xms等信息,可以在conf目录下创建java.env文件(内存堆空间一定要小于机器内存,避免使用swap)
    export JVMFLAGS="-Xms2048m -Xmx2048m $JVMFLAGS"

  2. 按天出zookeeper日志,避免zookeeper.out文件过大。

zkEnv.sh文件日志输出方式从CONSOLE改为ROLLINGFILE;

if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then

ZOO_LOG4J_PROP="INFO,CONSOLE"

ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

fi

conf/log4j.properties设置为按天生成文件DailyRollingFileAppender

#zookeeper.root.logger=INFO, CONSOLE
zookeeper.root.logger=INFO, ROLLINGFIL

log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender
log4j.appender.ROLLINGFILE.Threshold=${zookeeper.log.threshold}
log4j.appender.ROLLINGFILE.File=${zookeeper.log.dir}/${zookeeper.log.file}
log4j.appender.ROLLINGFILE.DatePattern=‘.‘yyyy-MM-dd

Max log file size of 10MB

#log4j.appender.ROLLINGFILE.MaxFileSize=10MB

  1. zoo.cfg文件中skipACL=yes,忽略ACL验证,可以减少权限验证的相关操作,提升一点性能。

  2. zoo.cfg文件中forceSync=no,这个对写请求的性能提升很有帮助,是指每次写请求的数据都要从pagecache中固化到磁盘上,才算是写成功返回。当写请求数量到达一定程度的时候,后续写请求会等待前面写请求的forceSync操作,造成一定延时。如果追求低延时的写请求,配置forceSync=no,数据写到pagecache后就返回。但是机器断电的时候,pagecache中的数据有可能丢失。
    默认为forceSync=yes,为yes可以设置fsync.warningthresholdms=50 如果数据固化到磁盘的操作fsync超过50ms的时候,将会在zookeeper.out中输出一条warn日志(forceSync=yes有效)。

  3. globalOutstandingLimit=100000 客户端连接过多,限制客户端请求,避免OOM

  4. zoo.cfg文件中preAllocSize=64M 日志文件预分配大小; snapCount=100,000 多少次写事务,生成一个快照如果快照生成频繁可适当调大该参数。
    一般zk的应用提倡读大于写,性能较好(10:1),存储元数据用来协调分布式数据最终一致。写过于频繁使用缓存更好

  5. 日志文件自动清除(如果追求性能,可手动清除)
    autopurge.snapRetainCount=3 # The number of snapshots to retain in dataDir
    autopurge.purgeInterval=24 # Purge task interval in hours Set to "0" to disable auto purge feature

zookeeper集群搭建及优化

标签:local   pattern   ntp   搭建   通过命令   disable   方法   node节点   node   

原文地址:http://blog.51cto.com/8248183/2063622

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!