标签：chown log image word .com 技术分享 highlight bin 清华
1.去清华的镜像站点下载文件spark-2.1.0-bin-hadoop2.7.tgz，因为hadoop安装的是2.7.2的版本
2.把文件解压到/usr/local目录下，解压之后的效果，Hadoop和Spark都在Hadoop用户下
drwxrwxrwx 12 hadoop hadoop 4096 12月 16 10:18 spark-2.1.0-bin-hadoop2.7/
添加Hadoop用户和用户组
$ sudo addgroup hadoop $ sudo adduser --ingroup hadoop hadoop $ sudo adduser hadoop sudo
然后修改文件夹的用户，用户组以及权限
sudo chown -R hduser:hadoop hadoop sudo chmod 777 hadoop/
Hadoop文件夹如果权限不对的话，也需要修改
3.在/etc/profile下添加路径
export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH
4.在~/coding/coding/Scala/word-count路径下准备一个文本文件，比如test.segmented文件
5.在该目录下，在终端运行 spark-shell
创建一个RDD
scala> val textFile = sc.textFile("file:///home/common/coding/coding/Scala/word-count/test.segmented")
保存RDD成文件
textFile.saveAsTextFile("file:///home/common/coding/coding/Scala/word-count/writeback")
这时候会发现在文件夹目录下多了writeback目录，目录下是这么几个文件
标签：chown log image word .com 技术分享 highlight bin 清华
原文地址：http://www.cnblogs.com/tonglin0325/p/6662097.html
