codis+redis 集群搭建管理

标签：otto   ase   content   nod   star   startup   chkconfig   width   遇到   

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.

Codis 由四部分组成:

Codis Proxy (codis-proxy)
Codis Dashboard (codis-config)
Codis Redis (codis-server)
ZooKeeper/Etcd
codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.

codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态.

codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.

Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy.

Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突.

————————————————————————————
（摘自：官方Github，https://github.com/CodisLabs/codis/blob/master/doc/tutorial_zh.md）

本文涉及到六台服务器，它们的IP规划与架构初览如下：

零、所有的服务器。

关闭防火墙：
chkconfig iptables off

关闭SELinux：
sed -i “/SELINUX/enforcing/disabled/” /etc/selinux/config

开启YUM缓存：
sed -i “/keepcache/s/0/1/” /etc/yum.conf

网卡添加外网DNS：
echo “DNS1=114.114.114.114” >> /etc/sysconfig/network-scripts/ifcfg-eth0
service network restart
ping baidu.com -c 3

YUM生成库缓存：

Java支持：

一、部署：Zookeeper。

官方项目主页：
http://zookeeper.apache.org/

官方介质下载页：
http://zookeeper.apache.org/releases.html

这里我下载最新版本：3.5.2 alpha。
Download Link：
https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.2-alpha/zookeeper-3.5.2-alpha.tar.gz

在98 / 99，两个IP上部署ZOOKEEPER。

（这里，仅演示在其中一台上搭建ZK的过程，第二台的方式类似）
上传软件介质到服务器：

解压：

移动到zookeeper的安装目录【/opt/zookeeper】：

配置zookeeper配置文件：

节点二【zookeeper2】的这个配置文件是：

创建上面配置文件中需要的目录结构：
mkdir -p /data/zookeeper/zk1/{data,log}

创建myid文件：
【zookeeper1】

【zookeeper2】

启动zookeeper：

可以看到，启动成功。

测试zookeeper的客户端程序：

【zookeeper1】

【zookeeper2】

这样，ZOOKEEPER，就部署好了。

二、部署：Codis。
（和上面一样，这里仅演示在一台节点上的操作详情，另一台也是类似的。在我的环境中，一共有两台Codis Server。）

1. Go语言支持。

官方网站：https://golang.org/

当前最新版本：1.7。

官方下载链接：
Linux：https://storage.googleapis.com/golang/go1.7.linux-amd64.tar.gz
源码包：https://storage.googleapis.com/golang/go1.7.src.tar.gz
MS Windows：https://storage.googleapis.com/golang/go1.7.windows-amd64.msi

上传介质到服务器：

将go安装到/opt/golang。

创建目录：

将安装介质解压到安装目录：

配置GO的环境变量：

其中：
GOROOT，Go语言的软件根目录
GOPATH，Go语言的项目根目录

创建Go语言的项目目录：

测试Go的可用性：

2. 安装：Codis。
Codis项目主页：
https://github.com/CodisLabs/codis

开源中国的介绍：
http://www.oschina.net/p/codis/?fromerr=PIDoyfcY

GIT支持：

获得Codis代码（需要服务器有git软件包的支持）：

官方建议通过“go get”来获取codis，该命令会下载master分支的最新版，而master分支则由codis作者维护。

这一步的执行过程可能会比较久，而命令行挂起，看不到进程。
你可以开启另一个会话，监控GOPATH目录的容量变化，如下：
watch -n .1 -d “du -sh /data/go_me”

这样会比较显而易见：

大概25M左右。

如果这一步没有git支持，则你会遇到如下错误：

最终下载成功后：

编译前，需要安装的软件包：
yum install -y gcc
yum groupinstall “Development Tools” # 很重要！

安装：jemalloc支持：

下载jemalloc：
http://www.canonware.com/download/jemalloc/jemalloc-4.2.1.tar.bz2

上传服务器，并安装：

如果没有jemalloc，则编译的时候会出错：

注意：如果依旧报错，编译时采用：
make MALLOC=libc

Codis，编译：make MALLOC=libc。

执行成功后，会在当前路径下的bin目录中生成可执行文件。
如下：

生成的可执行文件：
codis-config
codis-proxy
codis-server

assents，存放了codis-config的Dashboard Http需要的资源，需要与codis-config放在同一个目录下。

二、部署：Codis集群。
（这里应该是对Codis Proxy的配置。）

确认zookeeper状态是否运行：
【98】

【99】

配置Codis Dashboard的配置文件：
【94】

【95】的配置：

启动Codis dashboard：