码迷,mamicode.com
首页 > 其他好文 > 详细

检查hdfs文件块占用情况

时间:2020-06-24 17:58:36      阅读:56      评论:0      收藏:0      [点我收藏+]

标签:路径   file   脚本   echo   log   批量   情况   inpu   文件名   

 

批量执行检查脚本:

#!/bin/bash
file_name="$1"
if [ -z "$file_name" ];then
	echo "Pls input file path"
	exit 1
fi

cat "$file_name"| while read line
do
	hadoop fsck $line -blocks > temp.log
	echo $line >> final.log
	tail -11 temp.log >> final.log
	echo "">temp.log
	echo "Finish check $line"
done

  

传入参数为文件名,将该文件和脚本放在同一目录下,该文件中每行记录一个hdfs中的文件全路径

如: /user/test/liwt/sic/studentTable

获取hdfs中文件列表的方式很多,在此不做赘述。

 

检查hdfs文件块占用情况

标签:路径   file   脚本   echo   log   批量   情况   inpu   文件名   

原文地址:https://www.cnblogs.com/liwutao/p/13188743.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!