周末去了趟外地，受托给某省移动公司做了一下Hadoop集群故障分析和性能调优，把一些问题点记录下来。该系统用于运营商的信令数据，大约每天1T多数据量，20台Hadoop服务器，赞叹一下运营商乃真土豪，256G内存，32核CPU，却挂了6块2T硬盘。还有10台左右的服务器是64G内存，32核CP..
分类：
其他好文 时间：
2015-04-20 18:57:05
阅读次数：
155
（一）备份namenode的元数据
namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。
1、将元数据复制到远程站点
（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器
#!/bin/bash
export dirname=/mnt/tmphadoo...
分类：
其他好文 时间：
2015-03-01 22:23:11
阅读次数：
358
当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.net.NoRouteToHostException:Noroutetohost这种情况网上的解决办法通常是告诉要关闭防火墙，至于关于哪台主机的防火墙并没提。查看日志文件，只说是Noroutetohost没有提端口..
分类：
其他好文 时间：
2015-01-20 18:37:47
阅读次数：
188
前段时间遇到了一个很诡异的发生的Map阶段的OOM异常，花了些时间才找到原因，这个简要记录一下。先看log。节点一的TaskTracker的log：节点二的TaskTracker的log：节点三的TaskTracker的log：其他节点的TaskTracker中的log都和slave4的一样的：故障分析：OOM是一个比较常见的故..
分类：
其他好文 时间：
2014-05-20 22:15:47
阅读次数：
422
本篇介绍为了保证Hadoop集群平稳地运行，需要深入掌握的知识，以及一些管理监控的手段，日常维护的工作。...
分类：
其他好文 时间：
2014-05-18 05:32:10
阅读次数：
546
