Spark 入门学习

标签：http   io   ar   sp   文件   on   bs   html   ad   

用到的软件：Hadoop-2.4.0、scala-2.10.4、spark-1.1.0

一、预备工作

配好ssh

二、配置工作

首先配置Hadoop 这个可以参考官方网站电接点配置http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html

1、Hadoop2的配置文件在etc/hadoop目录下，需要修改的文件有core-site.xml、hadoop-env.sh、hdfs-site.xml、slaves

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>


</configuration>

Spark 入门学习

标签：http   io   ar   sp   文件   on   bs   html   ad   

原文地址：http://www.cnblogs.com/wyhong/p/4086516.html