码迷,mamicode.com
首页 > 其他好文 > 详细

redis 笔记04

时间:2016-01-08 01:56:37      阅读:221      评论:0      收藏:0      [点我收藏+]

标签:

服务器

1. 一个命令请求从发送到完成主要包括以下步骤:

    1). 客户端将命令请求发送给服务器

    2). 服务器读取命令请求,并分析出命令参数

    3). 命令执行器根据参数查找命令的实现函数,然后执行实现函数并得出命令回复

    4). 服务器将命令回复返回给客户端

2. serverCron函数默认每隔100毫秒执行一次,它的工作主要包括更新服务器状态信息,处理服务器接收的SIGTERM信号,管理客户端资源和数据库状态,检查并执行持久化操作等等。

3. 服务器从启动到恩给你处理客户端的命令请求需要执行以下步骤:

    1). 初始化服务器状态结构。为结构中的各个属性设置默认值。

    2). 载入服务器配置选项。

    3). 初始化服务器数据结构。包括创建共享对象,如一些常用字符串("OK"等),整数1到10000的字符串对象等等。

    4). 还原数据库状态,即载入RDB或者AOF文件。

    5). 执行事件循环,开始接受客户端的连接请求。

4. serverCron函数执行的主要操作:

    1). 更新服务器时间缓存。每次获取系统当前时间太耗资源,可以将系统时间缓存起来。不重要的事件使用缓存时间,重要的事件依旧获取当前系统时间。

    2). 更新LRU时钟。服务器时间缓存的一种。每个Redis对象都有一个lru属性,这个lru属性保存了对象最后一次被命令访问的时间。

    3). 更新服务器每秒执行命令次数。可以通过INFO stats 命令的instantaneous_ops_per_sec域查看。

    4). 更新服务器内存峰值记录。INFO memory命令的used_memory_peak和used_memory_peak_human两个域分别以两种格式记录了服务器的内存峰值。

    5). 处理SIGTERM信号。服务器关闭信号,接收到该信号后,服务器在关闭自身之前会进行RDB持久化操作。

    6). 管理客户端资源。关闭,重新分配输入缓冲区等。

    7). 管理数据库资源。对服务器中的一部分数据库进行检查,删除过期键,对字段进行收缩操作等。

    8). 执行被延迟的BGREWRITEAOF。

    9). 检查持久化操作的运行状态。检查新的RDB文件是否新建完成,检查是否满足AOF重写条件等。

    10). 将AOF缓冲区中的内容写入AOF文件

    11). 关闭异步客户端。关闭那些输出缓冲区大小超出限制的客户端。

    12). 增加cronloopse计数器的值。也即是serverCron函数执行的次数。

 

 

复制

1. Redis2.8以前的复制功能不能高效地处理断线后重复制情况,但Redis2.8新添加的部分重同步功能可以解决这个问题。

2. 部分重同步通过复制偏移量、复制积压缓冲区、服务器运行ID三个部分来实现。

3. 在复制操作刚开始的时候,从服务器会成为主服务器的客户端,并通过向主服务器发送命令请求来执行复制步骤,而在复制操作的后期,主从服务器会互相成为对方的客户端。

4. 主服务器通过向从服务器传播命令来更新从服务器的状态,保存主从服务器一致,而从服务器则通过向主服务器发送命令进行心跳检测,以及命令丢失检测。

5. 在Redis中,用户可以通过执行SLAVEOF命令或者设置slaveof选项,让一个服务器(从服务器)去复制另一个服务器(主服务器)。

6. 旧版复制功能的实现:

   1). 同步

        a. 从服务器向主服务器发送SYNC命令

        b. 主服务器执行BGSAVE命令,后台生成一个RDB文件,并使用缓存区记录从现在开始执行的所有写命令

        c. 主服务器将RDB文件发送给从服务器,从服务器载入RDB文件

        d. 主服务器将缓冲区的命令发送给从服务器

   2). 命令传播:为了让主从服务器一直保持一致状态,主服务器需要对从服务器执行命令传播操作:主服务器将自己执行的写命令,发送给从服务器执行。

7. 旧版复制功能的缺陷: 断线复制会重新复制主服务器中的所有内容。

8. 新版复制功能的实现,Redis从2.8版本开始,使用PSYNC命令代替SYNC命令来执行复制时的同步操作。PSYNC命令具有完整重同步和部分重同步两种模式:

   1). 完整重同步:执行的步骤和SYNC命令的执行步骤基本一样。 

   2). 部分重同步:指同步断开后的操作。

9. 部分重同步的实现:

    1). 复制偏移量:主从服务器会分别维护一个复制偏移量。通过对比主从服务器的复制偏移量,程序可以很容易地知道主从服务器是否处于一致状态。

    2). 复制积压缓冲区 : 复制积压缓冲区是由主服务器维护的一个固定长度先进先出队列,默认大小为1M。缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中

                                的每个字节记录相应的复制偏移量。

    3). 服务器运行ID:初次连接时,主服务器会将运行ID传给从服务器,从服务器将该ID保存起来。断开重连时,根据此ID判断之前是否有复制关系。

10. 正确估算和设置复制积压缓冲区的大小非常重要。估算公式:second*write_size_per_second , second为连接平均所需时间。write_size_per_second 表示主服务器每秒产生的

      写命令数据量。例如:每秒1M,5秒才能连接上,缓冲区大小就不能低于5M。安全起见可以设置为2倍。

11. PSYNC命令的实现:

      PSYNC命令的调用方法有两种:

      1). PSYNC ? -1 : 之前没有复制过

      2). PSYNC <runid> <offset> , runid 主服务器运行ID , offset 偏移量

      主服务器回复:

      1). 完整重同步

      2). 部分同步

      3). 识别不了PSYNC,Redis版本低于2.8

12. 复制的实现

      1). 设置主服务器的地址和端口:SLAVEOF <master_ip> <master_port>

      2). 建立套接字连接

      3). 发送PING命令

      4). 身份验证

      5). 发送端口信息,将从服务器监听端口通知给主服务器。

      6). 同步

      7). 命令传播

13. 心跳检测,在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:REPLCONF ACK <replication_offset>

      1). 检测从服务器的网络连接状态

      2). 辅助实现min-slaves配置选项。防止主服务器在不安全的情况下执行写命令。例如,我们向主服务器提供以下设置:

           min-slaves-to-write 3

           min-slaves-max-lag 10

           那么在从服务器的数量少于3个,或者三个从服务器的延迟(lag)值都大于或等于10秒时,主服务器将拒绝执行写命令。

      3). 检测命令丢失。通过比较偏移量,可以检测出网络断线时,丢失的数据。重新发送给从服务器。

14. REPLCONF ACK命令和复制积压缓冲区都是Redis 2.8版本新增的,所以为了保证复制时主从服务器的数据一致性,最好使用2.8或以上版本

 

redis 笔记04

标签:

原文地址:http://www.cnblogs.com/Jtianlin/p/5111811.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!