标签:
由于公司ganglia的gmond leader角色需要更改区分,最近在一直在搞这个玩意,终于一切OK了,做个记录,遇到的一些问题以及解决方法share下
leader机器的更改很简单了,这里不做叙述。直接说下面的问题
更改leader后,新的角色下面的老数据丢失,显示开始时间为更改时间
举例说明:
比如之前有个redis队长名称,下面包含master和slave所有机器,没有区别开来,现在需要更改为redis_master和redis_slave,区分开来
问题来了,区分后,master和slave下的数据起始点为更改时间以及之后的数据,之前的老数据丢失了。。。。。
恢复数据
ganglia数据存储是以rrd文件形式存储的,rrd文件不能直接编辑查看,但是可以通过rrdtool工具查看,具体参考
rrdtool工具使用
http://oss.oetiker.ch/rrdtool/doc/rrdtool.en.html
rrd文件提取数据
以boottime.rrd 文件为例
rrdtool dump boottime.rrd | less
<database>
<!-- 2014-12-20 22:51:30 PST / 1419144690 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:51:45 PST / 1419144705 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:52:00 PST / 1419144720 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:52:15 PST / 1419144735 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:52:30 PST / 1419144750 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:52:45 PST / 1419144765 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:53:00 PST / 1419144780 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:53:15 PST / 1419144795 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:53:30 PST / 1419144810 --> <row><v>1.4083982160e+09</v></row>
<!-- 2014-12-20 22:53:45 PST / 1419144825 --> <row><v>1.4083982160e+09</v></row>
2014-12-20 22:51:30 表示数据时间
1419144690 数据时间记录,使用date -d ‘1970-1-1 1419144690 sec utc‘可以转换为正常时间格式,其实是和前面的时间一致的
1.4083982160e+09 这就是真正的数据值,科学计数法记录,如果为空则为NaN
接下来我们就开始整合数据
思路:
找出新的rrd文件中数据位NaN的行,取出时间点A
然后在老的rrd文件中取出时间点A的数据
将取出的数据写入新文件中
在将修改后的文件rrdtool restore为rrd文件,放在数据存取目录,ganglia便可以读取到了。
脚本如下,根据适当更改即可
#!/bin/sh
HOME=/home/xxx
DIR=/home/xxx/redis-master
DIR_O=/home/xxx/redis
for FN in `ls $DIR/$1/`
do
filename=`echo $FN | cut -d. -f1`
mkdir $HOME/$1rrdfile
grep NaN $DIR/$1/$filename.xml | grep ‘[0~9]‘ | awk ‘{for(i=1;i<NF;i++)printf $i" ";printf"\n"}‘ > $HOME/$1rrdfile/$filename.file
cat $HOME/$1rrdfile/$filename.file | while read i
do
DATA=`grep "$i" $DIR_O/$1/$filename.xml | awk ‘{print $NF}‘`
for j in `echo $DATA`
do
sed -i ‘s@‘"$i"‘ <row><v>NaN</v></row>@‘"$i"‘ ‘"$j"‘@g ‘ $DIR/$1/$filename.xml
done
echo
done
done
cd $DIR/$1
rm -rf $DIR/$1/*.rrd
for RF in `ls `
do
filename=`echo $RF | cut -d. -f1`
rrdtool restore $filename.xml $filename.rrd
done
rm -rf /var/lib/ganglia/rrds/redis-master/$1/*
cp $DIR/$1/*.rrd /var/lib/ganglia/rrds/redis-master/$1/
chown nobody.nobody /var/lib/ganglia/rrds/ -R
因为我改为leader大概1周后才开始找回之前的数据,所以涉及到数据的整合,如果修改leader时直接拷贝之前的rrd文件,那么就不会丢失数据了,拷贝花费的几分钟时间数据忽略不计
标签:
原文地址:http://my.oschina.net/rwdy2008/blog/364717