标签：des blog http 使用 os io 文件 数据
1、背景
1.1 Redis简介
官方网站：http://redis.io/，Redis是REmote DIctionary Server的缩写。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。它跟 memcached 类似，不过数据可以持久化，而且支持的数据类型很丰富。它在保持键值数据库简单快捷特点的同时，又吸收了部分关系数据库的优点。从而使它的位置处于关系数据库和键值数据库之间。Redis不仅能保存Strings类型的数据，还能保存Lists类型（有序）和Sets类型（无序）的数据，而且还能完成排序（SORT）等高级功能，在实现INCR，SETNX等功能的时候，保证了其操作的原子性，除此以外，还支持主从复制等功能。Redis可以被看成是一个数据结构服务器。
Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。
1.2 瓶颈
当前卡布西游项目，数据存储采用MySQL，主游戏库共分为20个库，分布在5台机器上，每个库数据量约为10G，各机器均采用RAID5加速磁盘访问；当同时在线人数达到5W时，DB磁盘IO压力很大，导致游戏卡，在线人数再上不去了。而Redis数据读写都是直接操作内存，可有效解决这一瓶颈。
1.3 解决方案概述
将部分数据压缩导入到redis后，总数据量约15G（转换成redis数据类型数据量），一主一从模型，共两组。一台机器内存32G，开20个实例，共40个实例；预估每个实例最多存储2G数据（现在没这么多）。多实例方便做持久化。
主库不做AOF，也不做快照，只在每晚12点计划任务做一次快照并转移到异地。从库开启AOF并1秒落地。
主库每5分钟插入一个时间点（crontab实现），方便从库AOF记录时间点，用于定点还原。
2、安装配置
2.1 硬件配置
Dell R410 32G内存；两个CPU，每个CPU 4个核心；300G硬盘
2.2 安装
a)安装TCMalloc库
Source Code
wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz
tar zxf libunwind-0.99-alpha.tar.gz
cd libunwind-0.99-alpha/
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install
b)安装google-perftools：
Source Code
wget http://google-perftools.googlecode.com/files/google-perftools-1.8.2.tar.gz
tar zxf google-perftools-1.7.tar.gz
cd google-perftools-1.7/
./configure
make
make install
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
/sbin/ldconfig
c)安装redis
Source Code
wget http://redis.googlecode.com/files/redis-2.2.14.tar.gz
tar xzvf redis-2.2.14.tar.gz
cd redis-2.2.14
make USE_TCMALLOC=yes
//make之后会在 src目录下产生redis-server redis-cli redis-benchmark redis-check-dump
将其拷贝到/usr/local/redis/bin目录下，将配置文件redis.conf拷贝到/usr/local/redis/etc目录
//统一建立目录，方便管理
mkdir -p /usr/local/redis/bin
mkdir -p /usr/local/redis/etc
mkdir -p /usr/local/redis/var
mkdir -p /data/redis-data
# mkdir -p /data/redis-data/redis60{01,02,03,04,05,06,07,08,09,10}
检查tcmalloc是否生效
# lsof -n | grep tcmalloc
出现以下信息说明生效
redis-ser 13768 root mem REG 8,5 1616491 788696 /usr/local/lib/libtcmalloc.so.0.1.0
//装完后，可能libtcmalloc没有注册，没有上面信息，在mysqld_safe文件里加一条：
export LD_PRELOAD=/usr/local/lib/libtcmalloc.so``
//再重启mysql（线上操作谨慎！！！）(使用tmalloc，内存分配效率更高)
2.3 配置
//当前规划一共开40个实例，每台机器20个实例，下面以实例01为例：
//配置文件名： redis6001.conf ~ redis6040.conf
Source Code
daemonize yes
pidfile /var/run/redis6001.pid
port 6001
timeout 300
loglevel debug
logfile /usr/local/redis/var/debug6001.log
syslog-enabled yes
databases 16
rdbcompression yes
dbfilename redis6001.rdb
dir /data/redis-data/redis6001
slave-serve-stale-data yes
requirepass My#redis
appendonly no
no-appendfsync-on-rewrite no
vm-enabled no
hash-max-zipmap-entries 512
hash-max-zipmap-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
activerehashing yes
3、主从同步备份及相关脚本
3.1 主从同步目的目标
主从的主要目的：数据持久化，灾难恢复，冗余。主库不落地，减少消耗。
3.2 主从配置
从库安装配置同主库一致，主库无需任何改动(允许从库访问)，从库需增加两个地方配置：slaveof + AOF
slaveof 192.168.3.180 6301
masterauth My#redis
appendonly yes
appendfilename appendonly01.aof
appendfsync everysec
//配置文件名： slave6001.conf ~ slave6040.conf
Source Code
daemonize yes
pidfile /var/run/slave6001.pid
port 6001
timeout 300
loglevel debug
logfile /usr/local/redis/var/debug6001.log
syslog-enabled yes
databases 16
rdbcompression yes
dbfilename slave6001.rdb
dir /data/redis-data/slave6001
slaveof 192.168.0.139 6001
masterauth My#redis
slave-serve-stale-data yes
requirepass My#redis
appendonly yes
appendfilename slave6001.aof
appendfsync everysec
no-appendfsync-on-rewrite no
vm-enabled no
vm-swap-file /tmp/redis.swap
vm-max-memory 0
vm-page-size 32
vm-pages 134217728
vm-max-threads 4
hash-max-zipmap-entries 512
hash-max-zipmap-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
activerehashing yes
3.3 备份
备份策略：主库每晚12点串行给每个实例做一次快照(bgsave)；从库每晚12点串行对AOF文件打包备份(tar)，打包备份后做一次AOF文件压缩(bgrewriteaof)。每天的数据起始点是前一天晚上rewriteaof后的数据。
主库每晚12点串行给每个实例做一次快照(bgsave)。主库备份脚本（redis_bgsave.sh）
#!/bin/bash
#date=`date +%y%m%d_%H%M%S`
REDISPASSWORD=My#redis
for PORT in `seq 6001 6020`
do
/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgsave
sleep 10
done
date >> /usr/local/redis/var/bgsave.log
从库每晚12点串行拷贝每个实例的AOF到其他目录并对其打包，压缩包要有异地备份，之后再压缩AOF（bgrewriteaof）。
从库备份AOF并bgrewriteaof脚本（redis_backup.sh ：对单个实例）
#!/bin/sh
## FD:File Dir
## RD:Runing Dir
## 第一个参数为redis实例名
if [ $# -ne 1 ]; then
echo “Usage:$0 redis_name”
exit
fi
CURDATE=`date +%Y%m%d`
CURHOUR=`date +%Y%m%d_%H`
CURTIME=`date +%Y%m%d_%H%M%S`
REDISPASSWORD=My#redis
REDISNAME=$1
PORT=`echo $REDISNAME | cut -c6-9`
LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log
if [ "${REDISNAME}" = "" ]; then
echo “redis name Error!”
exit 1
else
if [ ! -d "/data/redis-data/${REDISNAME}" ]; then
echo “redis name Error!”
exit 1
fi
fi
DDIR=/data/backup/redis/$CURHOUR
mkdir -p ${DDIR}
RDIR=/data/redis-data/$REDISNAME
cd ${RDIR}
tar -zcf $DDIR/${REDISNAME}_${CURTIME}.tar.gz $REDISNAME.aof
if [ $? != 0 ]; then
echo “tar error $REDISNAME.aof” >> $LOGFILE
#exit 1
fi
sleep 5
/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgrewriteaof
sleep 5
### delete old backup data dir ###
#/bin/rm -rf `date -d -7day +”%Y%m%d”`
find /data/backup/redis/ -mtime +7 | xargs rm -rf
echo “Backup $REDISNAME ok at $CURTIME !” >> $LOGFILE
从库对所有实例备份（/data/sh/redis_allbak.sh）
#!/bin/sh
CURDATE=`date +%Y%m%d`
LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log
for PORT in `seq 6001 6020`
do
/data/sh/redis_backup.sh slave${PORT} && echo “slave${PORT} ok `date +%Y%m%d_%H%M%S`” >> $LOGFILE 2>&1 || echo “slave${PORT} backup error” >> $LOGFILE 2>&1
done
4、操作注意事项
若主库挂了，不能直接开启主库程序。若直接开启主库程序将会冲掉从库的AOF文件，这样将导致只能恢复到前一天晚上12的备份。
程序在跑时，不能重启网络(程序是通过网络接口的端口进行读写的)。网络中断将导致中断期间数据丢失。
确定配置文件全部正确才启动（尤其不能有数据文件名相同），否则会冲掉原来的文件，可能造成无法恢复的损失。
5、灾难恢复
5.1 主库故障，快速恢复到最近状态
描述：主库挂了（redis程序挂了/机器宕机了），从库正常，恢复到主库挂掉的时间点：去从库手动做一次快照，拷贝快照到主库相应目录，启动，OK。
在从库做一次快照，转移快照文件到其他目录，将快照文件目录拷贝到主库相应目录，启动主库，OK!
( /data/sh/redis_bgsave_cp.sh )
#!/bin/bash
REDISPASSWORD=My#redis
for PORT in `seq 6001 6020`
do
/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgsave
sleep 5
done
sleep 15
for PORT in `seq 6001 6020`
do
SDIR=/data/redis-data/slave${PORT}/
DDIR=/data/redis_recovery/redis-data/
mkdir -p $DDIR/redis${PORT}/
cd $SDIR
cp -rf slave${PORT}.rdb $DDIR/redis${PORT}/redis${PORT}.rdb
#sleep 1
done
在主库将原来数据目录重命名。
从从库拷贝快照文件到主库。
启动主库。
5.2 恢复到当天12点状态
注意备份数据（当前状态AOF+正常退出快照）！
停止redis。
解压AOF（/data/sh/redis_untar.sh）
#!/bin/bash
DAY=20111102
SDIR=/data/backup/redis/20111102_00/
cd $SDIR
for PORT in `seq 6001 6020`
do
tar -zxf slave${PORT}$DAY*.tar.gz
sleep 2
done
切割AOF（/data/sh/redis_sed.sh）
#!/bin/bash
DDIR=/data/redis_recovery/
TAG=”TAG111101_1200″
for PORT in `seq 6001 6020`
do
SDIR=/data/backup/redis/20111102_00/
SAOF=${SDIR}/slave${PORT}.aof
line=`sed -n “/$TAG/=” $SAOF`
num=$[$line + 3]
mkdir -p ${DDIR}/slave${PORT}/
sed “${num},\$d” $SAOF > ${DDIR}/slave${PORT}/slave${PORT}.aof
done
将原来数据目录重命名。
将切割出来的AOF目录重命名为配置文件的数据目录。（注释主从同步配置项）。
启动从库。
做快照，拷贝到主库，启动主库（同5.1）。
5.3 恢复到两天或几天前12点状态
从库每晚备份要备份AOF未bgrewriteaof之前的数据，可根据当天晚上12点备份，没有bfrewriteaof之前的AOF文件来进行恢复，方法同5.2。
6、监控
6.1 Nagios监控
# /usr/local/redis/bin/redis-cli -h 127.0.0.1 -p 6301 -a My#redis info
used_memory_human:1.49G
master_link_status:down up/down
db0:keys=2079581,expires=0
//监控进程数（每台机器redis实例数）
define service{
use local-service
host_name 119.147.163.xxx
servicegroups procs
service_description redis_20
check_command check_nrpe!check_procs\!20:20\!20:25\!redis-server
}
//监控主从同步状态（获取从库master_link_status与keys的值）
//status=down直接严重警告，keys相差10警告，keys相差100严重警告
define service{
use local-service
# hostgroup_name kabuxiyou
host_name 119.147.161.xxx
servicegroups redis
service_description redis_239
check_command check_nrpe!check_redis_slave\!192.168.0.139\!6379\!127.0.0.1\!6380
}
//监控实例内存使用大小，1.8G警告，2G严重警告
define service{
use local-service
# hostgroup_name kabuxiyou
host_name 119.147.161.xxx
servicegroups redis
service_description redis_mem_22
check_command check_nrpe!check_redis_mem\!127.0.0.1\!6381
}
7、资料
7.1 参考资料
//Redis入门手册(zh_v1.0).pdf
http://www.infoq.com/cn/articles/tq-why-choose-redis
// 为什么使用 Redis及其产品定位
http://www.infoq.com/cn/articles/tq-redis-memory-usage-optimization-storage
// Redis内存使用优化与存储
http://www.infoq.com/cn/articles/tq-redis-copy-build-scalable-cluster
// Redis复制与可扩展集群搭建
http://blog.prosight.me/index.php/2011/08/802
// Redis中7种集合类型应用场景
7.2 版本
最新稳定版：
wget http://redis.googlecode.com/files/redis-2.2.14.tar.gz // 2011.10.1
wget http://redis.googlecode.com/files/redis-2.4.2.tar.gz // 2011.11.15
wget http://redis.googlecode.com/files/redis-2.4.10.tar.gz // 2012.04.16
8、卡布西游Redis分布
8.1 服务器分布
服务器分布： 实例名： 端口：
… … …
8.2 mysql转redis规则
1.Key命名规则
Key采用字母+数字的形式 避免多个应用使用同一个key的时候互相覆盖，主项目中的key采用GJ#[UID] 例:GJ12345678
2.字段命名规则
主项目中的key内包含多个字段 代表多个应用 目前给每个应用预留的字段取值范围为100(实际使用中字段不应该超过10个左右不然使用哈希的意义不大了)。
当前的预留字段划分：
100~199为成就相关(当前使用150、151 对应MySQL的achieve_user表的history与current字段)
200~299为妖怪相关(当前使用200 对应MySQL的spirit_store表 实际应用时应该会再多2个字段 对应MySQL的spiritmaster与spirit表)
3.实例划分规则
预计将划分40个实例 玩家数据根据玩家的UID取模来分配到不同的实例中(是否再分库未确定)
4.其他使用Redis划分规则
目前庄园也有部分数据使用redis 不过数据是放在一个单独的redis实例中(119.147.164.24)
根据应用不同使用不同的库和key值 Key命名规则为[应用名]-[UID] 例: GrowTimes-12345678 / StolenList-12345678
9、相关测试数据
//测试数据跟存储的数据以及机器硬件配置等有关，具体环境可能不太一样，仅做参考。
9.1 启动关闭
启动：1.6G AOF文件，132M RDB，启动时间107s，产生debug.log 128M，使用内存1.71G。
2G数据，启动约2分钟，主从同步约2分钟(内网)。
关闭：shutdown时间很短，一般1~2s，shutdown之前必须做save，save时间跟数据量有关，一般几秒。
9.2 数据量大小
简单set（set a 1），3万条约1M AOF，300K RDB；12万条约4M AOF，1M RDB。
set一条记录，AOF会记录些什么：
redis> set yuwei wangjiancheng
*3
$3
set
$5
yuwei
$3
wangjiancheng
9.3 备份打包
纯文本AOF：
tar -zcf *.tar.gz * 1.9G / 20s / 16M /
tar -jcf *.tar.bz2 * 1.9G / 150s / 5.3M /
当前线上使用redis，数据导入是二进制流格式（AOF文件为数据文件，非文本文件），而且导入前已经过一次压缩，所以压缩比例很低。
9.4 其他测试
实例配置文件中的数据目录不存在，实例无法启动。
AOF边写边打包(tar)，不会造成数据损坏，tar只是读文件。
Redis运行过程中删除数据目录，不能bgsave，不能写AOF，从库能同步；从建目录也不能bgsave，不能写AOF。
Bgsave是放后台去执行的，所以bgsave;shutdown连写在一起会出问题，bgsave还未执行完就已经shutdown了。改用save。
主库实例重启后，从库会重新”全同步”一次，保存数据与主库一致。
网络闪断不会造成主从数据丢失，网络恢复后可以续传。
A实例快照文件，放B实例数据目录启动（文件名改成B实例数据文件），OK!
执行rewriteaof/ bgrewriteaof后，reidis根据内存数据，重新建立AOF，AOF重新排列顺序。
10、客户端连接redis
10.1 PHP
安装phpredis：
phpredis软件包地址（试了N个版本 只有这1个能在我们的定制系统环境装上 蛋疼）
http://ftp.nluug.nl/pub/NetBSD/packages/distfiles/php-redis/nicolasff-phpredis-2.1.3-0-g43bc590.tar.gz
cd /dist/src
tar xzf ../dist/nicolasff-phpredis-2.1.3-0-g43bc590.tar.gz
cd nicolasff-phpredis-43bc590
/usr/local/php/bin/phpize
## 如果PHP是安装的RPM包，需要安装php-devel
./configure –with-php-config=/usr/local/php/bin/php-config
make && make install
配置php.ini
vi /usr/local/php/lib/php.ini 加入: extension = “redis.so”
重启 fastcgi 生效 /root/fastcgi_restart # php -m //查看是否有redis，检查是否安装成功。
Redis扩展测试
测试代码：
< ?php$redis = new Redis();$redis - >connect(’127.0.0.1′,6379);$redis->set(‘test’,‘hello world!’);echo $redis->get(‘test’);
?>
返回 hello world ！表示成功
## 密码
$redis->auth(‘My#redis’);
## Error:
configure: error: invalid value of canonical build
## ./configure
./configure –with-php-config=/usr/local/php/bin/php-config
10.2 C++
antirez-hiredis-3cc6a7f.tar.gz 340 KB
这个是官方的库，里面有个例子
跑这个，带参数 ./hiredis-test
例子应该是test.c
标签：des blog http 使用 os io 文件 数据
原文地址：http://my.oschina.net/vdroid/blog/297284
