码迷，mamicode.com
首页 > 其他好文 > 详细

Hadoop根据SecondaryNameNode恢复NameNode

时间：2015-12-15 14:03:51      阅读：240      评论：0      收藏：0      [点我收藏+]

标签：

1.制造NameNode宕机的情况

1.1)：kill 掉NameNode的进程

 

[plain] view plaincopy
 
  1. [hadoop@hadoop bin]$ kill -9 13481  


1.2)：删除dfs.name.dir所指向的文件夹，这里是/home/hadoop/hdfs/name

 

 

[plain] view plaincopy
 
  1. current  image  in_use.lock  previous.checkpoint  
  2. [hadoop@hadoop name]$ rm -rf *  

注：是删除name目录下的所有内容，但是必须保证name这个目录是存在的。

 

1.3)：从SecondaryNameNode元数据namesecondary目录下复制到NameNode name目录下。

我的Secondary NameNode目录：

 

[plain] view plaincopy
 
  1. /home/hadoop/tmp/dfs/namesecondary  

复制过程：

 

 

[plain] view plaincopy
 
  1. [hadoop@hadoop name]$ cp -R /home/hadoop/tmp/dfs/namesecondary/* .  

1.4)：启动NameNode

 

 

[plain] view plaincopy
 
  1. [hadoop@hadoop bin]$ ./hadoop-daemon.sh start namenode  


1.5)：检查

 

使用hadoop fsck /user命令减产文件爱你Block的完整性

 

[plain] view plaincopy
 
  1. <font size="2">[hadoop@hadoop bin]$ hadoop fsck /</font>  
  2. Warning: $HADOOP_HOME is deprecated.  
  3.   
  4. FSCK started by hadoop from /192.168.0.101 for path / at Sun Dec 22 23:04:31 CST 2013  
  5. ...................................  
  6. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0001/job.jar:  Under replicated blk_-8571652065964704775_1020. Target Replicas is 10 but found 1 replica(s).  
  7. .  
  8. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0002/job.jar:  Under replicated blk_-5947701456602696019_1021. Target Replicas is 10 but found 1 replica(s).  
  9. .  
  10. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0003/job.jar:  Under replicated blk_8214183112681524571_1022. Target Replicas is 10 but found 1 replica(s).  
  11. .  
  12. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0001/job.jar:  Under replicated blk_4805420250921446015_1024. Target Replicas is 10 but found 1 replica(s).  
  13. .  
  14. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0002/job.jar:  Under replicated blk_7913185784171356584_1027. Target Replicas is 10 but found 1 replica(s).  
  15. .  
  16. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0004/job.jar:  Under replicated blk_-8411847042533891069_1035. Target Replicas is 10 but found 1 replica(s).  
  17. .  
  18. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0005/job.jar:  Under replicated blk_2163772543235273521_1036. Target Replicas is 10 but found 1 replica(s).  
  19. .  
  20. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0007/job.jar:  Under replicated blk_-3491660194168043022_1044. Target Replicas is 10 but found 1 replica(s).  
  21. .  
  22. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0002/job.jar:  Under replicated blk_5280511346594851641_1270. Target Replicas is 10 but found 1 replica(s).  
  23. .  
  24. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0003/job.jar:  Under replicated blk_5588149584508213931_1271. Target Replicas is 10 but found 1 replica(s).  
  25. .  
  26. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0004/job.jar:  Under replicated blk_-1846184614352398688_1272. Target Replicas is 10 but found 1 replica(s).  
  27. .  
  28. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0005/job.jar:  Under replicated blk_8253537375261552577_1273. Target Replicas is 10 but found 1 replica(s).  
  29. .  
  30. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0001/job.jar:  Under replicated blk_-6858089306760733073_1275. Target Replicas is 10 but found 1 replica(s).  
  31. .  
  32. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0002/job.jar:  Under replicated blk_-630176777256891004_1276. Target Replicas is 10 but found 1 replica(s).  
  33. .  
  34. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0003/job.jar:  Under replicated blk_3453389521553623867_1277. Target Replicas is 10 but found 1 replica(s).  
  35. .  
  36. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0004/job.jar:  Under replicated blk_-4262000880964323956_1278. Target Replicas is 10 but found 1 replica(s).  
  37. .  
  38. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0001/job.jar:  Under replicated blk_-5324801167724976561_1280. Target Replicas is 10 but found 1 replica(s).  
  39. .  
  40. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0002/job.jar:  Under replicated blk_3284342834321881345_1281. Target Replicas is 10 but found 1 replica(s).  
  41. .  
  42. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0004/job.jar:  Under replicated blk_5174401550469241860_1295. Target Replicas is 10 but found 1 replica(s).  
  43. .  
  44. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0009/job.jar:  Under replicated blk_6390129220783606015_1327. Target Replicas is 10 but found 1 replica(s).  
  45. .  
  46. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0010/job.jar:  Under replicated blk_8995477665353821346_1328. Target Replicas is 10 but found 1 replica(s).  
  47. .  
  48. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201311292212_0007/job.jar:  Under replicated blk_-6447241034801532571_1699. Target Replicas is 10 but found 1 replica(s).  
  49. .  
  50. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312082210_0001/job.jar:  Under replicated blk_-187920261151639503_1741. Target Replicas is 10 but found 1 replica(s).  
  51. .  
  52. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312082210_0002/job.jar:  Under replicated blk_1912732980088631445_1742. Target Replicas is 10 but found 1 replica(s).  
  53. .  
  54. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312092348_0001/job.jar:  Under replicated blk_448639237400606735_1953. Target Replicas is 10 but found 1 replica(s).  
  55. .  
  56. /home/hadoop/tmp/mapred/system/jobtracker.info: CORRUPT block blk_-4973841422235657473  
  57.   
  58. /home/hadoop/tmp/mapred/system/jobtracker.info: MISSING 1 blocks of total size 4 B.Status: CORRUPT  
  59.  Total size:        367257 B  
  60.  Total dirs:        83  
  61.  Total files:        60  
  62.  Total blocks (validated):        57 (avg. block size 6443 B)  
  63.   ********************************  
  64.   CORRUPT FILES:        1  
  65.   MISSING BLOCKS:        1  
  66.   MISSING SIZE:                4 B  
  67.   CORRUPT BLOCKS:         1  
  68.   ********************************  
  69.  Minimally replicated blocks:        56 (98.24561 %)  
  70.  Over-replicated blocks:        0 (0.0 %)  
  71.  Under-replicated blocks:        25 (43.85965 %)  
  72.  Mis-replicated blocks:                0 (0.0 %)  
  73.  Default replication factor:        1  
  74.  Average block replication:        0.98245615  
  75.  Corrupt blocks:                1  
  76.  Missing replicas:                225 (401.7857 %)  
  77.  Number of data-nodes:                1  
  78.  Number of racks:                1  
  79. FSCK ended at Sun Dec 22 23:04:31 CST 2013 in 89 milliseconds  


搞定收工!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Hadoop根据SecondaryNameNode恢复NameNode

标签：

原文地址：http://www.cnblogs.com/thinkpad/p/5047833.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！