标签:linux hadoop hdfs hdfs数据误删分析与恢复
一、相关参数:
1、core-site.xml 文件修改以下配置项:
<property> <name>fs.trash.interval</name> <value>2880</value> <description>HDFS垃圾箱设置,可以恢复误删除,配置的值为分钟数,0为禁用</description> </property>
2、hdfs-default.xml 文件注意以下配置项:
<property> <name>dfs.ha.log-roll.period</name> <value>120</value> <description>EditLog 日志滚动频率,单位为秒,默认是两分钟</description> </property>
二、分析过程
1、找到editlog日志所在目录
查看hdfs-site.xml文件,找到fs.namenode.name.dir配置项的值,如:file:/home/hadoop-2.6.0-cdh5.5.0/dfs/name
在/home/hadoop-2.6.0-cdh5.5.0/dfs/name目录下的current文件里,就是editlog文件,如下图
2、使用命令查看edits_inprogress文件
#hdfs oev -i edits_inprogress_0000000000000000023 -o edits_inprogress_0000000000000000023.xml
其中 -i 是输入文件名,-o是需要把解析的文件输出到该文件中
解析完成后,查看edits_inprogress_0000000000000000023.xml文件即可
3、打开文件分析
找到被删除的文件或文件夹,在edits_inprogress_0000000000000000023.xml文件中搜索相关项,如下所示:
<RECORD> <OPCODE>OP_RENAME_OLD</OPCODE> <DATA> <TXID>15</TXID> <LENGTH>0</LENGTH> <SRC>/dat</SRC> <DST>/user/root/.Trash/Current/dat</DST> <TIMESTAMP>1454315297010</TIMESTAMP> <RPC_CLIENTID>6832d4f9-4fa6-4dbb-89aa-ffaa26109078</RPC_CLIENTID> <RPC_CALLID>6</RPC_CALLID> </DATA> </RECORD>
可以看出,HDFS中 /dat 文件是在 1454315297 时间点被移入回收站的
4、恢复文件
执行以下命令:
#fs -mv /user/root/.Trash/Current/dat /dat
进行恢复
本文出自 “散人” 博客,请务必保留此出处http://zouqingyun.blog.51cto.com/782246/1750012
标签:linux hadoop hdfs hdfs数据误删分析与恢复
原文地址:http://zouqingyun.blog.51cto.com/782246/1750012