标签：syn 针对 append ash zset 操作系统 一个 防止 save
AOF持久化
AOF全称append only file持久化：以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中的命令达到恢复数据的目的：
AOF主要作用是解决了数据实时持久化的问题；
使用AOF
开始AOF需要设置appendonly yes，默认不开启。
AOF文件名通过appendonlyname配置，默认文件名为appendonly.aof：
AOF工作流程操作：命令写入（append）、文件同步（sync）、文件重写（rewrite）、重启加载（reload）:
- 所有写入命令会追加到aof_buf缓冲区中
- AOF缓冲区根据对应的策略向硬盘做同步操作
- 随着AOF文件越来越大，需要定期对AOF文件做重写，达到压缩目的
- 当Redis服务器重启时，可以加载AOF文件进行数据恢复。
命令写入
- 采用文本协议格式具有更好的兼容性
- 开始AOF后，所有写入命令都包含追加操作，直接采用协议格式，避免二次处理开销
- 文本协议具有可读性，方便直接修改和处理
- AOF通过追加到aof_buf缓冲区的方式，避免了直接追加到硬盘慢的问题，因为缓冲区时内存中的，相对于硬盘有更好的写入速度。另外，Redis可以提供多中缓冲区同步硬盘的策略；
文件同步
指缓存区数据同步到AOF文件的过程，有参数appendfsync控制；
- always：命令写入aof_buf后调用系统fsync操作同步到aof文件
- everysec：命令写入aof_buf后调用write操作，write完成后线程返回，fsync同步文件操作由专门线程每秒调用一次
- no：命令写入aof_buf后，调用系统write操作，不对aof文件做fsync同步，同步硬盘操作由操作系统负责，通常同步周期为最长30秒；
write操作：触发延迟写机制，Linux在内核提供页缓存区用于提高硬盘IO性能，write操作在写入系统缓冲区后直接返回，同步 硬盘草最依赖于系统调度机制；
fsync操作：针对单个文件操作，比如aof文件，做强制硬盘同步，fsync将阻塞直到写入硬盘完成后返回，保证了数据持久化。
重写机制
AOF文件越来越大，Redis提供了重写机制压缩文件体积。
AOF文件重写是把Redis进程内的数据转化为写命令同步到AOF文件的过程；
- 进程内已经超时的数据不在写入文件
- 旧的AOF文件含有无效命令，重写使用进程内数据直接生成，这样新的AOF文件只保留最终数据的写入命令；
- 多条写命令可以合并为一个。为了防止单条命令过大导致客户端缓冲区溢出，对于list、set、hash、zset等类型操作，以64位元素为界拆分为多条。
AOF重写后占用更少的空间；
AOF重写后文件更小，被Redis加载速度更快；
AOF重写触发过程：
- 手动触发：调用bgrwriteaof命令
- 自动触发：使用auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机；
auto-aof-rewrite-min-size：表示运行aof重写时文件最小体积，默认64M
auto-aof-rewrite-percentage：代表当前aof文件空间和上一次重写后aof文件空间的比例；
AOF重写流程：
- 执行AOF重写命令
- 父进程执行fork创建子进程，开销等同于bgsave
- 主进程fork进程后，继续响应其他请求，所有写命令依然写入AOF缓冲区并根据appendfsync策略同步到硬盘，保证原有AOF机制正确性；
- 由fork操作运用写时复制技术，子进程只能共享fork操作时的内存数据；由于父进程依然响应命令，Redis使用“AOF重写缓冲区”技术保存这部分数据，防止新的AOF文件生成期间丢失这部分数据；
- 子进程根据内存快照，按照命令合并规则写入到新的AOF文件，需要控制每次写入量，防止硬盘阻塞；
- 新的AOF文件写入完成后，子进程发送信号给父进程，父进程更新统计信息
- 父进程把aof重写缓冲区的数据写入到新的aof文件
- 使用新的aof文件替换老文件，完成aof重写；
重启加载
- AOF持久化开启且存在AOF文件时，优先加载aof文件
- aof关闭或者aof不存在时，加载rdb文件
- 加载aof/rdb文件成功后，redis启动成功
- aof/rdb文件存在错误时，redis启动失败并打印错误信息
文件校验
aof损坏时，使用redis-check-aof --fix命令进行修复，修复后使用diff -u对比数据的差异，找出丢失的数据，有些可以人工修改补全。
第五章：Redis持久化-AOF持久化
标签：syn 针对 append ash zset 操作系统 一个 防止 save
原文地址：https://www.cnblogs.com/use-D/p/10766040.html
