redis 之redis集群与集群配置

标签：搭建   ref   p2p   local   从服务器   迁移   规则   豆瓣   特定   

一．为什么要用集群

redis3.0集群采用P2P模式，完全去中心化，将redis所有的key分成了16384个槽位，每个redis实例负责一部分slot，集群中的所有信息通过节点数据交换而更新。

redis实例集群主要思想是将redis数据的key进行散列，通过hash函数特定的key会映射到指定的redis节点上

二．数据分布理论

分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整个数据的一个子集。

常见的分区规则有哈希分区和顺序分区。Redis Cluster采用哈希分区规则，因此接下来会讨论哈希分区规则。

(1)节点取余分区

(2)一致性哈希分区

(3)虚拟槽分区(redis-cluster采用的方式)

顺序分布

那么同样的分4个节点就是hash(key)%4

节点取余的优点是简单，客户端分片直接是哈希+取余

一致性哈希

客户端进行分片，哈希+顺时针取余

三．redis虚拟槽分区

Redis Cluster采用虚拟槽分区

虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有的数据映射到一个固定范围内的整数集合，整数定义为槽（slot）。

Redis Cluster槽的范围是0～16383。

槽是集群内数据管理和迁移的基本单位。采用大范围的槽的主要目的是为了方便数据的拆分和集群的扩展，

每个节点负责一定数量的槽

存的数据是存到槽位，16383个槽位在分配给节点。

四.搭建redis cluster

搭建集群分为几步：

准备节点（redis库）

节点通信（自动分配主从）

分配槽位给节点（slot分配给redis）

redis-cluster集群架构

多个服务端，负责读写，彼此通信，redis指定了16384个槽。

ruby的脚本自动就把分配槽位这事做了。

五．redis集群配置

1.准备6个节点

mkdir /opt/redis_conf/redis_Cluster/

192.168.1.209  3个节点

/opt/redis_conf/redis_Cluster/redis-7000.conf

/opt/redis_conf/redis_Cluster/redis-7001.conf

/opt/redis_conf/redis_Cluster/redis-7002.conf

192.168.1.208  3个节点

/opt/redis_conf/redis_Cluster/redis-7003.conf

/opt/redis_conf/redis_Cluster/redis-7004.conf

/opt/redis_conf/redis_Cluster/redis-7005.conf

2.节点的配置

port 7000
bind 192.168.1.209
daemonize yes
dir "/data/redis_Cluster/"
logfile "/data/redis_Cluster/logs/7000.log"
dbfilename "dump-7000.rdb"
cluster-enabled yes
cluster-config-file nodes-7000.conf

这6个节点配置文件都一样，仅仅是端口的不同

，bind后端的ip是本机ip

这边再放一个另外一台的配置：
[root@node208 redis_Cluster]# cat redis-7003.conf

port 7003
bind 192.168.1.208
daemonize yes
dir "/data/redis_Cluster/"
logfile "/data/redis_Cluster/logs/7003.log"
dbfilename "dump-7003.rdb"
cluster-enabled yes
cluster-config-file nodes-7003.conf

并创建相应的目录：

mkdir /data/redis_Cluster/

mkdir /data/redis_Cluster/logs/

3.启动这六个节点

192.168.1.209 上运行

redis-server /opt/redis_conf/redis_Cluster/redis-7000.conf

redis-server /opt/redis_conf/redis_Cluster/redis-7001.conf

redis-server /opt/redis_conf/redis_Cluster/redis-7002.conf

192.168.1.209 上运行

redis-server /opt/redis_conf/redis_Cluster/redis-7003.conf

redis-server /opt/redis_conf/redis_Cluster/redis-7004.conf

redis-server /opt/redis_conf/redis_Cluster/redis-7005.conf 

启动6个节点后的截图：

4.随便进入一个redis交互模式，写入数据，发现无法写入

报错，没有分配哈希槽

5.准备ruby环境，安装ruby并执行redis-trib.rb脚本

分配redis集群状态，以及槽位分配，互联网企业，豆瓣公司开源的一个工具

(1)下载、编译、安装Ruby

# 下载ruby
wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.1.tar.gz
# 安装ruby
tar -xvf ruby-2.3.1.tar.gz
# 进入目录
cd ruby-2.3.1/
# 指定安装目录
./configure --prefix=/opt/ruby/
# 编译安装
make && make install

6.添加ruby环境变量

vim /etc/profile
在PATH=后面添加ruby的环境变量路径
export PATH=$PATH:/opt/python36/bin:/opt/ruby/bin
# 重新读取环境变量
source /etc/profile

7.安装ruby gem redis-trib.rb

wget http://rubygems.org/downloads/redis-3.3.0.gem
使用gem安装redis-3.3.0.gem工具
gem install -l redis-3.3.0.gem
安装redis-trib.rb命令
cp /opt/redis-5.0.0/src/redis-trib.rb  /usr/local/bin/

如下截图，说明redis-trib.rb配置成功

这样表示添加成功

安装ruby gem 包管理工具

wget http://rubygems.org/downloads/redis-3.3.0.gem

gem install -l redis-3.3.0.gem

8.一键开启redis-cluster集群

redis-cli --cluster create --cluster-replicas 1 192.168.1.209:7000 192.168.1.209:7001 192.168.1.209:7002 192.168.1.208:7003 192.168.1.208:7004 192.168.1.208:7005

--replicas  # 表示进行身份授权

1  # 表示每个主节点，只有一个从节点

# 集群会自动分配主从关系  7000、7001、7002为主服务器master 7003、7004、7005为从服务器slave

连接集群命令

redis-cli -h  IP地址 -p 端口 -c

# redis-cli -h 192.168.1.209 -p 7000 -c

两个数据库的数共享，插入的数据随机分配到一主一从的其中一个。查询数据的时候，

两个库的数据都能在一个库中查询到。每一次插入数据都会先分配节点，在插入相应的库的数据。

redis 之redis集群与集群配置

标签：搭建   ref   p2p   local   从服务器   迁移   规则   豆瓣   特定   

原文地址：https://www.cnblogs.com/hszstudypy/p/11561546.html