Spark2 文件处理和jar包执行

标签：

上传数据文件

mkdir -p data/ml/ /home/wangxiao/data/ml/Affairs.txt

hadoop fs -mkdir -p /datafile/wangxiao/

hadoop fs -ls / hadoop fs -put /home/wangxiao/data/ml/Affairs.txt /datafile/wangxiao/

hadoop fs -ls -R /datafile

hdfs://ns1/datafile/wangxiao/Affairs.txt

执行jar包  

　　mkdir -p jar/

　　$SPARK_HOME/bin/spark-submit \  

　　--class "ML2" \  

　　--master local[2] \  

　　/home/huai/jar/test.jar

下载数据文件到本地

hadoop fs -get  /datafile/wangxiao/Affairs.txt  /home/wangxiao/data/ml/

删除HDFS上的文件

hadoop fs -rm -r -f /datafile/wangxiao/data*

Spark2 文件处理和jar包执行

标签：

原文地址：http://www.cnblogs.com/wwxbi/p/5965131.html