标签:文件的 文件名 groov 利用 技术分享 使用命令 系统 rom hadoop
编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务:
cd /usr/local/hadoop
touch linux.txt
cat linux.txt
./sbin/start-dfs.sh
./bin/hdfs dfs -mkdir -p /user/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./linux.txt input
./bin/hdfs dfs -ls
./bin/hdfs dfs -ls input
./bin/hdfs dfs -cat input/linux.txt
./bin/hdfs dfs -rm -ls input/linux.txt
./bin/hdfs dfs -get input/test.txt ~/linux.txt
if $(hdfs dfs -test -e text.txt);
then $(hdfs dfs -appendToFile local.txt text.txt);
else $(hdfs dfs -copyFromLocal -f local.txt text.txt);
fi
if $(hdfs dfs -test -e file:///usr/hadoop/text.txt);
then $(hdfs dfs -copyToLocal text.txt ./text2.txt);
else $(hdfs dfs -copyToLocal text.txt ./text.txt);
fi
hdfs dfs -cat text.txt
hdfs dfs -ls -h text.txt
hdfs dfs -ls -R -h /user/hadoop
if $(hdfs dfs -test -d dir1/dir2);
then $(hdfs dfs -touchz dir1/dir2/filename);
else $(hdfs dfs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename);
fi
删除文件:hdfs dfs -rm dir1/dir2/filename
创建目录:hdfs dfs -mkdir -p dir1/dir2
删除目录(如果目录非空则会提示not empty,不执行删除):hdfs dfs -rmdir dir1/dir2
强制删除目录:hdfs dfs -rm -R dir1/dir2
追加到文件末尾:hdfs dfs -appendToFile local.txt text.txt
追加到文件开头:
(由于没有直接的命令可以操作,方法之一是先移动到本地进行操作,再进行上传覆盖):
hdfs dfs -get text.txt
cat text.txt >> local.txt
hdfs dfs -copyFromLocal -f text.txt text.txt
hdfs dfs -rm text.txt
删除目录(如果目录非空则会提示not empty,不执行删除):hdfs dfs -rmdir dir1/dir2
强制删除目录:hdfs dfs -rm -R dir1/dir2
hdfs dfs -mv text.txt text2.txt
标签:文件的 文件名 groov 利用 技术分享 使用命令 系统 rom hadoop
原文地址:https://www.cnblogs.com/dengjinxiu/p/8947189.html