Redis

标签：修改   开发   ibgp   简单   ehcache缓存   保留   匹配   cache   like   

简介

开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件

数据结构

• 字符串（strings）
• 散列（hashes）
• 列表（lists）
• 集合（sets）
• 有序集合（sorted sets）

https://www.cnblogs.com/jasontec/p/9699242.html

redis是键值对的数据库，常用的五种数据类型为字符串类型（string），散列类型（hash），列表类型（list），集合类型（set），有序集合类型（zset）。

Redis用作缓存，主要两个用途：高性能，高并发，因为内存天然支持高并发。

应用场景

分布式锁（string）

setnx key value，当key不存在时，将 key 的值设为 value ，返回1。若给定的 key 已经存在，则setnx不做任何动作，返回0。

当setnx返回1时，表示获取锁，做完操作以后del key，表示释放锁，如果setnx返回0表示获取锁失败，整体思路大概就是这样，细节还是比较多的，有时间单开一篇来讲解。

计数器（string）

如知乎每个问题的被浏览器次数：

分布式全局唯一id（string）

分布式全局唯一id的实现方式有很多，这里只介绍用redis实现。

每次获取userId的时候，对userId加1再获取，可以改进为如下形式：

直接获取一段userId的最大值，缓存到本地慢慢累加，快到了userId的最大值时，再去获取一段，一个用户服务宕机了，也顶多一小段userId没有用到。

消息队列（list）

在list里面一边进，一边出即可

新浪/Twitter用户消息列表（list）

假如说小编li关注了2个微博a和b，a发了一条微博（编号为100）就执行如下命令：

b发了一条微博（编号为200）就执行如下命令：

假如想拿最近的10条消息就可以执行如下命令（最新的消息一定在list的最左边）：

抽奖活动（set）

实现点赞，签到，like等功能(set)

实现关注模型，可能认识的人（set）

seven关注的人

sevenSub -> {qing, mic, james}

青山关注的人

qingSub->{seven,jack,mic,james}

Mic关注的人

MicSub->{seven,james,qing,jack,tom}

电商商品筛选（set）

每个商品入库的时候即会建立他的静态标签列表如，品牌，尺寸，处理器，内存。

排行榜（zset）

redis的zset天生是用来做排行榜的、好友列表，去重，历史记录等业务需求。

过期策略

定期删除

redis 会将每个设置了过期时间的 key 放入到一个独立的字典中，以后会定期遍历这个字典来删除到期的 key。

定期删除策略

Redis 默认会每秒进行十次过期扫描（100ms一次），过期扫描不会遍历过期字典中所有的 key，而是采用了一种简单的贪心策略。

从过期字典中随机 20 个 key；

删除这 20 个 key 中已经过期的 key；

如果过期的 key 比率超过 1/4，那就重复步骤 1；

惰性删除

除了定期遍历之外，它还会使用惰性策略来删除过期的 key，所谓惰性策略就是在客户端访问这个 key 的时候，redis 对 key 的过期时间进行检查，如果过期了就立即删除，不会给你返回任何东西。

定期删除是集中处理，惰性删除是零散处理。

为什么要采用定期删除+惰性删除2种策略呢？

如果过期就删除。假设redis里放了10万个key，都设置了过期时间，你每隔几百毫秒，就检查10万个key，那redis基本上就死了，cpu负载会很高的，消耗在你的检查过期key上了。

但是问题是，定期删除可能会导致很多过期key到了时间并没有被删除掉，那咋整呢？所以就是惰性删除了。这就是说，在你获取某个key的时候，redis会检查一下 ，这个key如果设置了过期时间那么是否过期了？如果过期了此时就会删除，不会给你返回任何东西。

并不是key到时间就被删除掉，而是你查询这个key的时候，redis再懒惰的检查一下。

通过上述两种手段结合起来，保证过期的key一定会被干掉。

所以说用了上述2种策略后，下面这种现象就不难解释了：数据明明都过期了，但是还占有着内存。

内存淘汰策略

这个问题可能有小伙伴们遇到过，放到Redis中的数据怎么没了？

因为Redis将数据放到内存中，内存是有限的，比如redis就只能用10个G，你要是往里面写了20个G的数据，会咋办？当然会干掉10个G的数据，然后就保留10个G的数据了。那干掉哪些数据？保留哪些数据？当然是干掉不常用的数据，保留常用的数据了。

Redis提供的内存淘汰策略有如下几种：

1、noeviction 不会继续服务写请求 (DEL 请求可以继续服务)，读请求可以继续进行。这样可以保证不会丢失数据，但是会让线上的业务不能持续进行。这是默认的淘汰策略。

2、volatile-lru 尝试淘汰设置了过期时间的 key，最少使用的 key 优先被淘汰。没有设置过期时间的 key 不会被淘汰，这样可以保证需要持久化的数据不会突然丢失。（这个是使用最多的）

3、volatile-ttl 跟上面一样，除了淘汰的策略不是 LRU，而是 key 的剩余寿命 ttl 的值，ttl 越小越优先被淘汰。

4、volatile-random 跟上面一样，不过淘汰的 key 是过期 key 集合中随机的 key。

5、allkeys-lru 区别于 volatile-lru，这个策略要淘汰的 key 对象是全体的 key 集合，而不只是过期的 key 集合。这意味着没有设置过期时间的 key 也会被淘汰。

6、allkeys-random 跟上面一样，不过淘汰的策略是随机的 key。allkeys-random 跟上面一样，不过淘汰的策略是随机的 key。

持久化策略

Redis的数据是存在内存中的，如果Redis发生宕机，那么数据会全部丢失，因此必须提供持久化机制。

Redis 的持久化机制有两种，第一种是快照（RDB），第二种是 AOF 日志。快照是一次全量备份，AOF 日志是连续的增量备份。快照是内存数据的二进制序列化形式，在存储上非常紧凑，而 AOF 日志记录的是内存数据修改的指令记录文本。AOF 日志在长期的运行过程中会变的无比庞大，数据库重启时需要加载 AOF 日志进行指令重放，这个时间就会无比漫长。所以需要定期进行 AOF 重写，给 AOF 日志进行瘦身。

RDB是通过Redis主进程fork子进程，让子进程执行磁盘 IO 操作来进行 RDB 持久化，AOF 日志存储的是 Redis 服务器的顺序指令序列，AOF 日志只记录对内存进行修改的指令记录。即RDB记录的是数据，AOF记录的是指令

RDB和AOF到底该如何选择？

1、不要仅仅使用 RDB，因为那样会导致你丢失很多数据，因为RDB是隔一段时间来备份数据。

2、也不要仅仅使用 AOF，因为那样有两个问题，第一，通过 AOF 做冷备没有RDB恢复速度快; 第二，RDB 每次简单粗暴生成数据快照，更加健壮，可以避免 AOF 这种复杂的备份和恢复机制的 bug。

3、用RDB恢复内存状态会丢失很多数据，重放AOP日志又很慢。Redis4.0推出了混合持久化来解决这个问题。将 rdb 文件的内容和增量的 AOF 日志文件存在一起。这里的 AOF 日志不再是全量的日志，而是自持久化开始到持久化结束的这段时间发生的增量 AOF 日志，通常这部分 AOF 日志很小。于是在 Redis 重启的时候，可以先加载 rdb 的内容，然后再重放增量 AOF 日志就可以完全替代之前的 AOF 全量文件重放，重启效率因此大幅得到提升。

缓存雪崩和缓存穿透

缓存雪崩是什么？

假设有如下一个系统，高峰期请求为5000次/秒，4000次走了缓存，只有1000次落到了数据库上，数据库每秒1000的并发是一个正常的指标，完全可以正常工作，但如果缓存宕机了，每秒5000次的请求会全部落到数据库上，数据库立马就死掉了，因为数据库一秒最多抗2000个请求，如果DBA重启数据库，立马又会被新的请求打死了，这就是缓存雪崩。

如何解决缓存雪崩

事前：redis高可用，主从+哨兵，redis cluster，避免全盘崩溃。

事中：本地ehcache缓存 + hystrix限流&降级，避免MySQL被打死。

事后：redis持久化，快速恢复缓存数据。

缓存穿透是什么？

假如客户端每秒发送5000个请求，其中4000个为黑客的恶意攻击，即在数据库中也查不到。举个例子，用户id为正数，黑客构造的用户id为负数，如果黑客每秒一直发送这4000个请求，缓存就不起作用，数据库也很快被打死。

如何解决缓存穿透

查询不到的数据也放到缓存，value为空，如set -999 “”

总而言之，缓存雪崩就是缓存失效，请求全部全部打到数据库，数据库瞬间被打死。缓存穿透就是查询了一个一定不存在的数据，并且从存储层查不到的数据没有写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。

Redis的数据结构

Redis支持多种不同的数据结构，包括5种基础数据结构和几种比较复杂的数据，这些数据结构可以满足不同的应用场景。

五种基础数据结构

• String：字符串，是构建其他数据结构的基础
• Hash：哈希列表
• List：列表
• Set：集合，在哈希列表的基础上实现
• Sort Set：有序集合

复杂的数据结构

• Bitmaps:位图，在string的基础上进行位操作，可以实现节省空间的数据结构。
• Hyperloglog：用于估计一个 set 中元素数量的概率性的数据结构。
• Geo：geospatial,地理空间索引半径查询。
• BloomFilter：布隆过滤器。

不同数据结构的相同之处

从上面的介绍，我们看到支持的数据结构的不同，但其实，Redis的每一种数据结构都由一个key和value组成,可以抽象为：

而所有数据结构的key的值都是任意合法的字符串,不同的数据结构的区别就在于value存储的值的不同而不同。

比如，最简简单的String数据结构，其value为String，所以String可以表示为：

而Hash数据结构，其value为一个哈希列表，所以Hash可以表示为：

这里就列出String和Hash来讲解说明，关于更多数据结构的内部结构及详细操作，我们在之后的文章在再谈谈吧。

Redis的通用命令

Redis官网将Redis的命令按照功能划分为15个主题分组,其中，Kyes主题的命令对所有的数据结构都通用，因此，有必要在了解其他数据结构命令前好好学习一下。

keys

keys命令的作用是列出Redis所有的key,该命令的时间复杂度为O(N)，N随着Redis中key的数量增加而增加，因此Redis有大量的key，keys命令会执行很长时间，而由于Redis是单线程，某个命令耗费过长时间，则会导致后面的的所有请求无法得到响应，因此，千万不要在生产服务器上使用keys命令。

# key命令,时间复杂度为O(n)
keys pattern #pattern可为一个包含匹配模式的字符串，可以包含*,+,?,[a-z]等模式。

示例

> mset hello_test1 one hello_test2 two helloa a hellob b
> keys hello*
1) "hello_test1"
2) "hello_test2"
3) "helloa"
4) "hellob"
> keys heelo?
1) "helloa"
2) "hellob"
> keys hello[a-z]
1) "helloa"
2) "hellob"

exists

exists命令用于判断一个或多个key是否存在，判断多个key时，key之间用空格分隔,exists的返回值为整数，表示当前判断有多少个key是存在的。

# exists命令，时间复杂度O(1)
exists key [key ...]

示例

> set test1 t1
> exists test1 test2 
(integer) 1 #只有一个key存在
> exists test3 test3
(integer) 0 #key都不存在

del

del命令用于删除一个或多个key，多个key之间用空格分隔，其返回值为整数，表示成功删除了多少个存在的key，因此，如果只删除一个key，则可以从返回值中判断是否成功，如果删除多个key，则只能得到删除成功的数量。

# del命令,时间复杂度O(n)
del key [key ...]

示例

> set test t
> del test
(integer) 1
> mset test1 2 test2 1
> del test1 test2 test3
(integer) 2 # 返回2，表示成功删除两个
#再次删除，返回0，因为删除成功个数为0
> del test1 test2 test3
(integer) 0

expire,pexpire

expire设置key在多少秒之后过期，pexpire设置key在多少毫秒之后过期,成功返回1，失败返回0。

# expire命令，时间复杂度为O(1)
expire key seconds

# pexpire命令，时间复杂度为O(1)
pexpire key milliseconds

示例

> mset test test_value test1 test1_value
> expire test 10 #设置10秒后过期
(integer) 1
> pexpire test1_value 10000 #设置10000毫秒(10s)后过期
(integer) 1
> expire ttt 100
(integer) 0 # 不存在的key，设置失败，返回0 

ttl,pttl

ttl和pttl命令用于获取key的过期时间，其返回值为整型，代表的意义分为几种情况：

• 当key不存在或过期时间，返回-2。
• 当key存在且永久有效时，返回-1。
• 当key有设置过期时间时，返回为剩下的秒数(pttl为毫秒数)

# ttl命令，时间复杂度O(1)
ttl key

# pttl命令，时间复杂度O(1)
pttl key

示例(ttl的演示，pttl类似)

> set test test
> expire test 100
> ttl test
(integer) 98#返回剩下的秒数
> set test1 #永久有效
> ttl test1
(integer) -1
> ttl test2
(integer) -2#不存在或过期
#100秒后
> ttl test # test已过期
(integer) -2

expireat,pexpireat

设置key在某个时间戳过期,expreat参数时间戳用秒表示，而pexpireat则用毫秒表示，与expire和pexpire功能类似，返回1表示成功，0表示失败。

#expireat命令，时间复杂度为O(1)
expireat key timestamp

#pexpireat命令，时间复杂度为O(1)
pexpireat key milliseconds-timestamp

示例

> set test test
> expireat test 1560873600 # 2019-06-19 00:00:00
(integer) 1
> set test1 test1
> pexpireat test1 156087360000 # 2019-06-19 00:00:00的毫秒表示
(integer) 1

persist

移除key的过期时间，将key设置为永久有效，当key设置了过期时间，使用persist命令移除后返回1，如果key不存在或本身就是永久有效的，则返回0。

# persist命令,时间复杂度O(1)
persist key

示例

> set test test
> ttl test
(integer) -1 # 表示永久有效
> persist test
(integer) 0 # 对永久有效或不存在的key使用persist命令，返回
> expire test 10
(integer) 1
> persist test
(integer) 1

type

判断key是什么类型的数据结构,返回值为string,list,set,hash,zset,分别表示我们前面介绍的Redis的5种基础数据结构。

geo,hyperloglog,bitmaps等复杂的数据结构，都是在这五种基础数据结构上实现，比如geo是zset类型，hyperloglog和bitmaps都为string。

# type命令，时间复杂度O(1)
type key

示例

> set test test
> type test
string
> hset htest test test
> type htest
hash

小结

上面介绍的是Redis中最常用的通用命令，虽然简单，但还是非常有必要掌握其用法和使用方面要注意的事项，其实，对于普通开发人员来说，很多时候，也只是使用这些基础通用的命令来操作Redis而已。

Redis

标签：修改   开发   ibgp   简单   ehcache缓存   保留   匹配   cache   like   

原文地址：https://www.cnblogs.com/monkay/p/11430730.html