标签:dashboard redis zookeeper codis
Codis由豌豆荚于2014年11月开源,基于go和c开发,是近期涌现的、国人开发的优秀开源软件之一,稳定性极高,性能更是改善了很多。
Codis由四部分组成:
codis-proxy:codis-proxy是客户端连接的Redis代理服务,codis-proxy本身实现了Redis协议,表现得和一个原生Redis没什么区别,对于一个业务来说,可以部署多个codis-proxy,codis-proxy本身是无状态的
codis-config:codis-config是Codis的管理工具,支持添加/删除Redis节点,同时会启动一个dashboard的服务,可通过web界面来直接观察Redis集群运行的状态
codis-server:codis-server是codis项目维护的一个Redis分支,基于2.8.13开发,加入了solt的支持原理的数据迁移指令。Codis上层的codis-proxy、codis-config只能和这个版本的Redis交互才能够正常运行
zookeeper:Codis依赖zookeeper来存放数据路由表和codis-proxy节点的元信息,codis-config发起的命令都会通过zookeeper同步到各个codis-proxy节点,zookeeper还维护codis-server group信息,并提供分布式锁等服务。
Codis的特性:
1、自动平衡
2、使用非常简单,可通过web界面来管理
3、图形化的面板和管理工具
4、支持绝大多数Redis命令,完全兼容twemproxy
5、支持Redis原生客户端
6、安全而完全透明的数据移植,可根据需要轻松添加和删除节点
7、提供命令行接口
IP/主机名 | 部署服务 |
10.10.73.148/node1 | codis+zookeeper |
10.10.73.149/node2 | codis-zookeeper |
10.10.73.192/node3 | codis+dashboard |
一、提供java环境,Zookeeper以及Go依赖于java(node1、node2、node3)
[root@node1 ~]# mkdir -pv /opt/java [root@node1 ~]# tar -xf /root/jdk-7u51-linux-x64.tar.gz -C /opt/java/
二、提供Go语言,Codis服务依赖Go语言(node1、node2、node3)
[root@node1 ~]# tar -xf /root/go1.6.linux-amd64.tar.gz -C /usr/local/
三、编辑"/etc/hosts"(node1、node2、node3)
[root@node1 ~]# vim /etc/hosts 10.10.73.148 node1 10.10.73.149 node2 10.10.73.192 node3 ####node2、node3和node1一样
四、在node1、node2服务器上部署Zookeeper服务(node1、node2)
[root@node1 ~]# mkdir /opt/app/zookeeper -pv [root@node1 ~]# cd /opt/app/zookeeper/ [root@node1 zookeeper]# wget [root@node1 zookeeper]# tar -xf zookeeper-3.4.8.tar.gz [root@node1 zookeeper]# cd zookeeper-3.4.8 [root@node1 zookeeper-3.4.8]# pwd /opt/app/zookeeper/zookeeper-3.4.8 [root@node1 zookeeper-3.4.8]# cp conf/zoo_sample.cfg conf/zoo.cfg ##"zoo.cfg"为"zookeeper"的配置文件 [root@node1 zookeeper-3.4.8]# vim conf/zoo.cfg tickTime=2000 ##指明服务端(Leader)和客户端(Follower)之间的心跳时间间隔,单位为ms initLimit=10 ##指定容忍心跳检测失败的最大次数 syncLimit=5 ##指定Leader和Folloer之间发送消息,请求和应答的时常,不能大于’tickTime’的值 dataDir=./data/ ##指定数据存储路径,需创建 dataLogDir=./logs ##指明日志存储路径,需创建 server.148=node1:2888:3888 ##指明zookeeper节点,148表示每台zookeeper标号,2888表示zookeeper监听端口,3888表示leader选举端口 server.149=node2:2888:3888 clientPort=2181 ##指明客户端连接服务端的端口 [root@node1 zookeeper-3.4.8]# mkdir data logs [root@node1 zookeeper-3.4.8]# cat data/myid 148 ##指明zookeeper当前节点的标示符 #####以上操作均在node1节点上操作,node2节点同样如此,需要注意的是node2节点下的data/myid应为149
五、提供环境环保,编辑"/etc/profile"(node1、node2、node3)
[root@node1 ~]# vim /etc/profile export PATH=$PATH:/usr/local/go/bin export JAVA_HOME=/opt/java/jdk1.7.0_51 export PATH=$JAVA_HOME/bin:$PATH export GOPATH=/opt/app/product ##codis的路径,下面由”$GOPATH”表示 export PATH=$PATH:$GOPATH/bin export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar [root@node1 ~]# source /etc/profile ##重载配置文件 [root@node1 ~]# go version ##检测环境变量配置是否成功 go version go1.6 linux/amd64
六、安装codis服务(node1、node2、node3)
[root@node1 product]# pwd /opt/app/product [root@node1 codis]# cd $GOPATH/src/github.com/CodisLabs/codis/ [root@node1 codis]# make make[2]: Leaving directory `/opt/app/product/src/github.com/CodisLabs/codis/extern/redis-2.8.21/src‘ make[1]: Leaving directory `/opt/app/product/src/github.com/CodisLabs/codis/extern/redis-2.8.21‘ [root@node1 codis]# make gotest ? github.com/CodisLabs/codis/cmd/cconfig [no test files] ? github.com/CodisLabs/codis/cmd/proxy [no test files] ##出现以上内容表示codis安装成功 [root@node1 codis]# mkdir -pv logs data conf [root@node1 codis]# vim config.ini zk=node1:2181,node2:2181 ##指明zookeeper节点的IP和端口 product=ch_wtc ##定义数据库 dashboard_addr=10.10.73.192:18087 ##定义dashboard节点,监听端口为18087 password=wtc.com ##slave连接master的密码 proxy_id=proxy_148 ##定义proxy节点的id [root@node1 codis]# cd /conf [root@node1 conf]# wget https://github.com/ijonas/dotfiles/raw/master/etc/redis.conf --no-check-certificate [root@node1 conf]# ll total 24 -rw-r--r-- 1 root root 23350 Aug 30 11:02 redis.conf [root@node1 conf]# cp redis.conf redis_9736.conf [root@node1 conf]# cp redis.conf redis_9746.conf [root@node1 conf]# vim redis_9736.conf pidfile ./data/redis_9736.pid port 9736 logfile ./logs/redis_9736.log dbfilename dump_9736.rdb dir ./data/redis_9736 masterauth wtc.com ##开启认证功能 requirepass wtc.com ##指定密码,必须与”config.ini’配置文件中的password值一样 [root@node1 conf]# vim redis_9746.conf pidfile ./data/redis_9746.pid port 9746 logfile ./logs/redis_9746.log dbfilename dump_9746.rdb dir ./data/redis_9746 masterauth wtc.com requirepass wtc.com ####以上操作均在node1节点上运行,node2、node3节点操作方式和node1一样
七、上述操作完成后,分别启动zookeeper、codis-server、dashboard、codis-proxy
1、启动zookeeper(node1、node2)
[root@node1 zookeeper-3.4.8]# pwd /opt/app/zookeeper/zookeeper-3.4.8 [root@node1 zookeeper-3.4.8]# bin/zkServer.sh start ##node1 ZooKeeper JMX enabled by default Using config: /opt/app/zookeeper/zookeeper-3.4.8/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [root@node2 zookeeper-3.4.8]# bin/zkServer.sh start ##node2 ZooKeeper JMX enabled by default Using config: /opt/app/zookeeper/zookeeper-3.4.8/bin/../conf/zoo.cfg Starting zookeeper ... STARTED
2、启动codis-server(node1、node2、node3)
[root@node1 codis]# pwd /opt/app/product/src/github.com/CodisLabs/codis [root@node1 codis]# bin/codis-server conf/redis_9736.conf [root@node1 codis]# bin/codis-server conf/redis_9746.conf [root@node1 codis]# ps aux | grep codis root 1597 0.0 0.1 137388 9432 ? Ssl 11:58 0:00 bin/codis-server *:9736 root 1601 0.0 0.1 137388 9432 ? Ssl 11:59 0:00 bin/codis-server *:9746 注意:如果启动失败,可查看错误日志 [root@mysql_01 codis]# pwd /opt/app/product/src/github.com/CodisLabs/codis [root@mysql_01 codis]# cat logs/redis_9736.log [28181] 29 Aug 16:44:17.121 # Can‘t chdir to ‘./data/redis_9736‘: No such file or directory 解决办法:在相应的目录下创建相应的文件即可--./data/redis_9736
3、启动dashboard(node3),并经行初始化
[root@node3 codis]# nohup bin/codis-config dashboard >./logs/dashboard.log 2>&1 & [1] 4891 [root@node3 codis]# ps aux | grep dashboard root 4891 0.5 0.1 281876 8296 pts/1 Sl 11:59 0:00 bin/codis-config dashboard [root@node3 codis]# bin/codis-config slot init ##进行初始化,之后建立组关系 { "msg": "OK", "ret": 0 }
八、对各个节点建立组关系(node3)
[root@node3 codis]# bin/codis-config server add 1 node1:9736 master { "msg": "OK", "ret": 0 } [root@node3 codis]# bin/codis-config server add 1 node2:9746 slave { "msg": "OK", "ret": 0 } [root@node3 codis]# bin/codis-config server add 2 node2:9736 master { "msg": "OK", "ret": 0 } [root@node3 codis]# bin/codis-config server add 2 node3:9746 slave { "msg": "OK", "ret": 0 } [root@node3 codis]# bin/codis-config server add 3 node3:9736 master { "msg": "OK", "ret": 0 } [root@node3 codis]# bin/codis-config server add 3 node1:9746 slave { "msg": "OK", "ret": 0 } ##总共分了三个组 1、node1为主、node2为从 2、node2为主、node3为从 3、node3为主、node1为从
九、对每个组进行solt范围划分,并启动proxy,设置为online(node3)
[root@node3 codis]# bin/codis-config slot range-set 0 340 1 online { "msg": "OK", "ret": 0 } [root@node3 codis]# bin/codis-config slot range-set 341 681 2 online { "msg": "OK", "ret": 0 } [root@node3 codis]# bin/codis-config slot range-set 682 1023 3 online { "msg": "OK", "ret": 0 } [root@node1 codis]# nohup bin/codis-proxy -c config.ini -L ./logs/proxy.log --cpu=4 --addr=0.0.0.0:19000 & [root@node2 codis]# nohup bin/codis-proxy -c config.ini -L ./logs/proxy.log --cpu=4 --addr=0.0.0.0:19000 & [root@node3 codis]# nohup bin/codis-proxy -c config.ini -L ./logs/proxy.log --cpu=4 --addr=0.0.0.0:19000 & [root@node1 codis]# bin/codis-config -c config.ini proxy online proxy_148 ##node1 { "msg": "OK", "ret": 0 } [root@node2 codis]# bin/codis-config -c config.ini proxy online proxy_149 ##node2 { "msg": "OK", "ret": 0 } [root@node3 codis]# bin/codis-config -c config.ini proxy online proxy_192 ##node3 { "msg": "OK", "ret": 0 }
问题总结:
1、在搭建Redis集群时,一定要配置"/etc/hosts",否则启动dashboard时失败
2、"config.ini"和"redis_97(3|4)6"中的"password"一样
3、通过dashboard对Redis集群进行分组所使用的solt范围为"0-1023"
4、dashboard启动成功后,一定要进行初始化,查看是否初始化可通过zookeeper节点来查看
[root@node1 zookeeper-3.4.8]# pwd ##node1 /opt/app/zookeeper/zookeeper-3.4.8 [root@node1 zookeeper-3.4.8]# sh bin/zkCli.sh [zk: localhost:2181(CONNECTED) 0] ls /zk/codis [db_wtc] [zk: localhost:2181(CONNECTED) 1] ls /zk/codis/db_wtc [fence, servers, slots, proxy, migrate_tasks, dashboard, LOCK, actions, ActionResponse] ####若出现了"slots",则说明进行了初始化(用于定义solt范围)
本文出自 “wtc” 博客,请务必保留此出处http://wangtianci.blog.51cto.com/11265133/1844424
标签:dashboard redis zookeeper codis
原文地址:http://wangtianci.blog.51cto.com/11265133/1844424