Hadoop集群内存过高，HDFS存储慢

标签：style   http   使用   os   io   for   2014   cti   

2014-08-12

HDFS存储过慢，内存过高而且不释放

网络方面：

 使用 netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}‘ 查看网络情况：

 情况如下：

   CLOSE_WAIT 102
   FIN_WAIT2 2
   ESTABLISHED 53

各个状态的发生原因可以从下图得到：（TCP的关闭过程中各个状态说明了上面的指标）

上面的状态是DataNode的状态，说明DataNode 在等待Client发起关闭。

如果TIME_WAIT过高，说明在等待关闭确认。

1、去除TIME_WAIT的方法如下：#vi /etc/sysctl.conf

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

#sysctl -p

2、去除CLOSE_WAIT

Hadoop集群内存过高，HDFS存储慢,布布扣,bubuko.com

Hadoop集群内存过高，HDFS存储慢

标签：style   http   使用   os   io   for   2014   cti   

原文地址：http://www.cnblogs.com/goodgay/p/3906927.html