标签:
服务器
1. 一个命令请求从发送到完成主要包括以下步骤:
1). 客户端将命令请求发送给服务器
2). 服务器读取命令请求,并分析出命令参数
3). 命令执行器根据参数查找命令的实现函数,然后执行实现函数并得出命令回复
4). 服务器将命令回复返回给客户端
2. serverCron函数默认每隔100毫秒执行一次,它的工作主要包括更新服务器状态信息,处理服务器接收的SIGTERM信号,管理客户端资源和数据库状态,检查并执行持久化操作等等。
3. 服务器从启动到恩给你处理客户端的命令请求需要执行以下步骤:
1). 初始化服务器状态结构。为结构中的各个属性设置默认值。
2). 载入服务器配置选项。
3). 初始化服务器数据结构。包括创建共享对象,如一些常用字符串("OK"等),整数1到10000的字符串对象等等。
4). 还原数据库状态,即载入RDB或者AOF文件。
5). 执行事件循环,开始接受客户端的连接请求。
4. serverCron函数执行的主要操作:
1). 更新服务器时间缓存。每次获取系统当前时间太耗资源,可以将系统时间缓存起来。不重要的事件使用缓存时间,重要的事件依旧获取当前系统时间。
2). 更新LRU时钟。服务器时间缓存的一种。每个Redis对象都有一个lru属性,这个lru属性保存了对象最后一次被命令访问的时间。
3). 更新服务器每秒执行命令次数。可以通过INFO stats 命令的instantaneous_ops_per_sec域查看。
4). 更新服务器内存峰值记录。INFO memory命令的used_memory_peak和used_memory_peak_human两个域分别以两种格式记录了服务器的内存峰值。
5). 处理SIGTERM信号。服务器关闭信号,接收到该信号后,服务器在关闭自身之前会进行RDB持久化操作。
6). 管理客户端资源。关闭,重新分配输入缓冲区等。
7). 管理数据库资源。对服务器中的一部分数据库进行检查,删除过期键,对字段进行收缩操作等。
8). 执行被延迟的BGREWRITEAOF。
9). 检查持久化操作的运行状态。检查新的RDB文件是否新建完成,检查是否满足AOF重写条件等。
10). 将AOF缓冲区中的内容写入AOF文件
11). 关闭异步客户端。关闭那些输出缓冲区大小超出限制的客户端。
12). 增加cronloopse计数器的值。也即是serverCron函数执行的次数。
复制
1. Redis2.8以前的复制功能不能高效地处理断线后重复制情况,但Redis2.8新添加的部分重同步功能可以解决这个问题。
2. 部分重同步通过复制偏移量、复制积压缓冲区、服务器运行ID三个部分来实现。
3. 在复制操作刚开始的时候,从服务器会成为主服务器的客户端,并通过向主服务器发送命令请求来执行复制步骤,而在复制操作的后期,主从服务器会互相成为对方的客户端。
4. 主服务器通过向从服务器传播命令来更新从服务器的状态,保存主从服务器一致,而从服务器则通过向主服务器发送命令进行心跳检测,以及命令丢失检测。
5. 在Redis中,用户可以通过执行SLAVEOF命令或者设置slaveof选项,让一个服务器(从服务器)去复制另一个服务器(主服务器)。
6. 旧版复制功能的实现:
1). 同步
a. 从服务器向主服务器发送SYNC命令
b. 主服务器执行BGSAVE命令,后台生成一个RDB文件,并使用缓存区记录从现在开始执行的所有写命令
c. 主服务器将RDB文件发送给从服务器,从服务器载入RDB文件
d. 主服务器将缓冲区的命令发送给从服务器
2). 命令传播:为了让主从服务器一直保持一致状态,主服务器需要对从服务器执行命令传播操作:主服务器将自己执行的写命令,发送给从服务器执行。
7. 旧版复制功能的缺陷: 断线复制会重新复制主服务器中的所有内容。
8. 新版复制功能的实现,Redis从2.8版本开始,使用PSYNC命令代替SYNC命令来执行复制时的同步操作。PSYNC命令具有完整重同步和部分重同步两种模式:
1). 完整重同步:执行的步骤和SYNC命令的执行步骤基本一样。
2). 部分重同步:指同步断开后的操作。
9. 部分重同步的实现:
1). 复制偏移量:主从服务器会分别维护一个复制偏移量。通过对比主从服务器的复制偏移量,程序可以很容易地知道主从服务器是否处于一致状态。
2). 复制积压缓冲区 : 复制积压缓冲区是由主服务器维护的一个固定长度先进先出队列,默认大小为1M。缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中
的每个字节记录相应的复制偏移量。
3). 服务器运行ID:初次连接时,主服务器会将运行ID传给从服务器,从服务器将该ID保存起来。断开重连时,根据此ID判断之前是否有复制关系。
10. 正确估算和设置复制积压缓冲区的大小非常重要。估算公式:second*write_size_per_second , second为连接平均所需时间。write_size_per_second 表示主服务器每秒产生的
写命令数据量。例如:每秒1M,5秒才能连接上,缓冲区大小就不能低于5M。安全起见可以设置为2倍。
11. PSYNC命令的实现:
PSYNC命令的调用方法有两种:
1). PSYNC ? -1 : 之前没有复制过
2). PSYNC <runid> <offset> , runid 主服务器运行ID , offset 偏移量
主服务器回复:
1). 完整重同步
2). 部分同步
3). 识别不了PSYNC,Redis版本低于2.8
12. 复制的实现
1). 设置主服务器的地址和端口:SLAVEOF <master_ip> <master_port>
2). 建立套接字连接
3). 发送PING命令
4). 身份验证
5). 发送端口信息,将从服务器监听端口通知给主服务器。
6). 同步
7). 命令传播
13. 心跳检测,在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:REPLCONF ACK <replication_offset>
1). 检测从服务器的网络连接状态
2). 辅助实现min-slaves配置选项。防止主服务器在不安全的情况下执行写命令。例如,我们向主服务器提供以下设置:
min-slaves-to-write 3
min-slaves-max-lag 10
那么在从服务器的数量少于3个,或者三个从服务器的延迟(lag)值都大于或等于10秒时,主服务器将拒绝执行写命令。
3). 检测命令丢失。通过比较偏移量,可以检测出网络断线时,丢失的数据。重新发送给从服务器。
14. REPLCONF ACK命令和复制积压缓冲区都是Redis 2.8版本新增的,所以为了保证复制时主从服务器的数据一致性,最好使用2.8或以上版本
标签:
原文地址:http://www.cnblogs.com/Jtianlin/p/5111811.html