码迷,mamicode.com
首页 > 其他好文 > 详细

redis主从复制原理与优化-高可用

时间:2019-12-30 23:05:06      阅读:88      评论:0      收藏:0      [点我收藏+]

标签:cte   设置   second   jpg   一个   expand   master   实现原理   端口   

一 什么是主从复制

机器故障;容量瓶颈;QPS瓶颈

一主一从,一主多从

做读写分离

做数据副本

扩展数据性能

一个maskter可以有多个slave

一个slave只能有一个master

数据流向是单向的,从master到slave

二 复制的 配置

2.1 slave 命令

6380是从,6379是主
?
在6389上执行
?
slave of 127.0.0.1 6379 #异步
slaveof no one #取消复制,不会把之前的数据清除

 

2.2 配置文件

slaveof ip port #配置从节点ip和端口
slave-read-only yes #从节点只读,因为可读可写,数据会乱
?
‘‘‘
mkdir -p redis1/conf redis1/data redis2/conf redis2/data redis3/conf redis3/data
vim redis.conf
?
daemonize no
pidfile redis.pid
bind 0.0.0.0
protected-mode no
port 6379
timeout 0
logfile redis.log
dbfilename dump.rdb
dir /data
slaveof 10.0.0.101 6379
slave-read-only yes
?
?
cp redis.conf /home/redis2/conf/
?
?
docker run -p 6379:6379 --name redis_6379 -v /home/redis1/conf/redis.conf:/etc/redis/redis.conf -v /home/redis1/data:/data -d redis redis-server /etc/redis/redis.conf
?
docker run -p 6378:6379 --name redis_6378 -v /home/redis2/conf/redis.conf:/etc/redis/redis.conf -v /home/redis2/data:/data -d redis redis-server /etc/redis/redis.conf
?
docker run -p 6377:6379 --name redis_6377 -v /home/redis3/conf/redis.conf:/etc/redis/redis.conf -v /home/redis3/data:/data -d redis redis-server /etc/redis/redis.conf
?
info replication
?
‘‘‘

 

 

四 故障处理

slave故障

master故障

五 复制常见问题

1 读写分离

读流量分摊到从节点

可能遇到问题:复制数据延迟,读到过期数据,从节点故障

2 主从配置不一致

maxmemory不一致:丢失数据

数据结构优化参数:主节点做了优化,从节点没有设置优化,会出现一些问题

3 规避全量复制

第一次全量复制,不可避免:小主节点,低峰(夜间)

节点运行id不匹配:主节点重启(运行id变化)

复制挤压缓冲区不足:增大复制缓冲区大小,rel_backlog_size

4 规避复制风暴

单主节点复制风暴,主节点重启,所有从节点复制

 

 

一 主从复制高可用

#主从复制存在的问题:
#1 主从复制,主节点发生故障,需要做故障转移,可以手动转移:让其中一个slave变成master
#2 主从复制,只能主写数据,所以写能力和存储能力有限

二 架构说明

可以做故障判断,故障转移,通知客户端(其实是一个进程),客户端直接连接sentinel的地址

技术图片

1 多个sentinel发现并确认master有问题

2 选举触一个sentinel作为领导

3 选取一个slave作为新的master

4 通知其余slave成为新的master的slave

5 通知客户端主从变化

6 等待老的master复活成为新master的slave

三 安装配置

1 配置开启主从节点
2 配置开启sentinel监控主节点(sentinel是特殊的redis)
3 应该是多台机器
#配置开启sentinel监控主节点
mkdir -p redis4/conf redis4/data redis5/conf redis5/data redis6/data redis6/conf
?
vi sentinel.conf
?
?
port 26379
daemonize no
dir /data
protected-mode no
bind 0.0.0.0
logfile "redis_sentinel.log"
sentinel monitor mymaster 10.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
?
?
docker run -p 26379:26379 --name redis_26379 -v /home/redis4/conf/sentinel.conf:/etc/redis/sentinel.conf -v /home/redis4/data:/data -d redis redis-sentinel /etc/redis/sentinel.conf
?
docker run -p 26378:26379 --name redis_26378 -v /home/redis5/conf/sentinel.conf:/etc/redis/sentinel.conf -v /home/redis5/data:/data -d redis redis-sentinel /etc/redis/sentinel.conf
?
docker run -p 26377:26379 --name redis_26377 -v /home/redis6/conf/sentinel.conf:/etc/redis/sentinel.conf -v /home/redis6/data:/data -d redis redis-sentinel /etc/redis/sentinel.conf
?
?
?
redis-sentinel sentinel.conf
?
info
配置会重写,自动发现slave

 

四 客户端连接

import redis
from redis.sentinel import Sentinel
?
# 连接哨兵服务器(主机名也可以用域名)
# 10.0.0.101:26379
sentinel = Sentinel([(10.0.0.101, 26379),
                     (10.0.0.101, 26378),
                     (10.0.0.101, 26377)
             ],
                    socket_timeout=5)
?
?
print(sentinel)
# 获取主服务器地址
master = sentinel.discover_master(mymaster)
print(master)
?
?
?
?
# 获取从服务器地址
slave = sentinel.discover_slaves(mymaster)
print(slave)
?
?
?
?
# 获取主服务器进行写入
# master = sentinel.master_for(‘mymaster‘, socket_timeout=0.5)
# w_ret = master.set(‘foo‘, ‘bar‘)
#
#
#
#
# slave = sentinel.slave_for(‘mymaster‘, socket_timeout=0.5)
# r_ret = slave.get(‘foo‘)
# print(r_ret)

 


五 实现原理

六 常见问题

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

redis主从复制原理与优化-高可用

标签:cte   设置   second   jpg   一个   expand   master   实现原理   端口   

原文地址:https://www.cnblogs.com/Gaimo/p/12121837.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!