标签：操作系统 共享 4.0 溢出 实践 src random rem jemalloc
内存使用统计127.0.0.1:6379> INFO memory
# Memory
used_memory:87057136
used_memory_human:83.02M
used_memory_rss:22122496
used_memory_rss_human:21.10M
used_memory_peak:87057136
used_memory_peak_human:83.02M
total_system_memory:1027096576
total_system_memory_human:979.52M
used_memory_lua:37888
used_memory_lua_human:37.00K
maxmemory:134217728
maxmemory_human:128.00M
maxmemory_policy:allkeys-lru
mem_fragmentation_ratio:0.25
mem_allocator:jemalloc-4.0.3
重点关注：
used_memory，Redis内部存储数据的内存占用量。
used_memory_rss，从操作系统角度看，Redis占用的物理内存总量。
used_memory_rss-used_memory，多出来的内存被碎片消耗。
Redis内存消耗主要包括：缓冲内存，子进程，Redis进程自身，存储数据对象和内存碎片，主要看前两者。
缓冲内存
1.客户端缓冲
指所有接入到Redis服务器的TCP连接的输入输出缓冲。
输入缓冲无法控制，最大空间1G，若超过，将断开连接。
输出缓冲有3类：普通客户端，从客户端和订阅客户端，大小通过参数client-output-buffer-limit控制。一般普通客户端内存消耗可以忽略不计，但当有大量慢连接客户端接入时，就要关注这部分内存了。
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
2.复制积压缓冲
#define CONFIG_DEFAULT_REPL_BACKLOG_SIZE (1024*1024) /* 1mb */
对于主节点只有一个复制积压缓冲区，所有从节点共享该缓冲区，默认1MB，可设置较大的缓冲区（repl-backlog-size），有效避免全量复制。
3.AOF缓冲
sds aof_buf; /* AOF buffer, written before entering the event loop */
list *aof_rewrite_buf_blocks; /* Hold changes during an AOF rewrite. */
开启AOF时，命令会先append进入aof_buf缓冲区中，在aof_buf缓冲区中根据appendfsync指定的策略刷新到磁盘。
当触发AOF重写时，主进程fork操作后，依然响应命令，Redis使用aof_rewrite_buf_blocks缓冲区保存这部分新数据，防止新AOF文件生成期间丢失这部分数据。
4.子进程内存消耗
子进程内存消耗主要是指在RDB快照/AOF重写时，Redis创建子进程消耗的内存。为了保证该过程顺畅，注意两点。
a.关闭Linux内核的Transparent Huge Pages机制(echo never > /sys/kernel/mm/transparent_hugepage/enabled)，防止copy-on-write期间内存过度消耗。
b.设置vm.overcommit_memory=1，允许内核可以分配所有的物理内存，防止Redis进行fork时内存不足而失败。
内存管理
Redis是通过控制内存上限，和回收策略实现内存管理的。
1.设置内存上限(maxmemory <bytes>)
使用maxmemory参数限制最大可用内存，其限制的是Redis实际使用的内存量，即used_memory统计项值。由于内存碎片，实际消耗的内存可能比maxmemory设置的大，使用时要小心这部分内存溢出。 另可通过CONFIG SET maxmemory <bytes>动态调整内存上限。
2.内存回收策略，体现在，删除达到过期时间的键对象，和内存使用达到maxmemory上限触发内存溢出控制策略。
2.1删除到达过期时间的键对象
a.被动方式
当用户读取带有超时属性的键时，若已超过键设置的超时时间，会执行删除操作并返回空。当过期键一直没有被访问时，会由主动方式将其删除。
b.主动方式
Redis会定期进行下面的操作(通过hz设置频率)。
1.定期随机对20个键进行过期检测。
2.删除过期的键。
3.如果多于25%的键过期，重复步骤1。
2.2内存溢出控制策略
当Redis使用内存达到maxmemory上限时会触发溢出控制策略，共有6种策略，由参数maxmemory-policy控制。
volatile-lru -> remove the key with an expire set using an LRU algorithm
allkeys-lru -> remove any key according to the LRU algorithm
volatile-random -> remove a random key with an expire set
allkeys-random -> remove a random key, any key
volatile-ttl -> remove the key with the nearest expire time (minor TTL)
noeviction -> don't expire at all, just return an error on write operations
对于Redis用于缓存业务，一般使用allkeys-lru策略；用于存储业务，使用noeviction策略。
若感兴趣可关注订阅号”数据库最佳实践”(DBBestPractice).
标签：操作系统 共享 4.0 溢出 实践 src random rem jemalloc
原文地址：http://blog.51cto.com/coveringindex/2147854
