用Shell脚本过滤Hadoop中不能访问的节点

标签：脚本   hadoop   集群   ssh   

最近使用的一个集群hp1，因为维护集群的人不给力，节点总是过一段时间就掉一两个。今天发现重启hadoop时，HDFS已经进入保护模式了。

决定把slaves节点中的无法访问的节点全部过滤掉，所以写了一个小脚本，在这里记录一下，以后方便直接拿来使用。

PS：用C Shell编写的

代码如下：

#!/bin/csh
if ( $#argv < 1 ) then
	echo "Usage: $0 host_file"
	exit 1
endif
set NODES = `cat $1`
foreach NODE ( $NODES )
	ping -q -c 1 $NODE > /dev/null
	if ( $? == 0 )	then
		echo $NODE
	endif
end

#!/bin/csh
set nodes = `cat slaves`
foreach i ( $nodes )
	echo $i
	ssh $i exit
end

用Shell脚本过滤Hadoop中不能访问的节点

标签：脚本   hadoop   集群   ssh   

原文地址：http://blog.csdn.net/hipercomer/article/details/40780925