第三步：测试Spark集群 把Spark安装包下的”README.txt”上传到 通过hdfs的web控制台可以发现成功上传了文件： 使用“MASTER:spark://SparkMaster:7077?./spark-shell”命令启动Spark?shell： 接下来通过以下命...
分类：
其他好文 时间：
2014-11-19 14:21:03
阅读次数：
211
第三步：测试Spark集群把Spark安装包下的”README.txt”上传到通过hdfs的web控制台可以发现成功上传了文件：使用“MASTER:spark://SparkMaster:7077./spark-shell”命令启动Sparkshell：接下来通过以下命令读取刚刚上传到HDFS上的“...
分类：
其他好文 时间：
2014-11-19 14:08:57
阅读次数：
220
此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”?从Web的角度看一下SparkUI的情况，如下图所示： 当然，你也可以查看一些其它的信息，例如Environment: ? 同时，...
分类：
其他好文 时间：
2014-11-19 02:24:01
阅读次数：
265
此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”从Web的角度看一下SparkUI的情况，如下图所示：当然，你也可以查看一些其它的信息，例如Environment:同时，我们也可以看一下Executors：至此，我们的Spa...
分类：
其他好文 时间：
2014-11-18 23:59:23
阅读次数：
386
第二步：构造分布式的Spark1.0.2集群1,下载Scala2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；2，安装和配置Scala...
分类：
其他好文 时间：
2014-11-17 22:39:09
阅读次数：
213
在SparkWorker1?和SparkWorker2上使用jps会看到如下进程信息： 第二步：启动Spark集群 在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”： 此时的SparkWorker1和SparkWo...
分类：
其他好文 时间：
2014-11-17 21:23:05
阅读次数：
184
也可以查看一下SparkWorker2上的运行情况：我们点击具体的Container查看其信息：程序运行结束后我们可以执行一下命令查看运行结果：也可通过HDFS控制台查看运行结果：可以通过Web控制的JobHistory查看历史工作记录：点击最近运行的WordCount作业进入历史作业详情：发现我们...
分类：
其他好文 时间：
2014-11-17 21:01:18
阅读次数：
164
在SparkWorker1和SparkWorker2上使用jps会看到如下进程信息：第二步：启动Spark集群在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”：此时的SparkWorker1和SparkWorker2会出现新的进程“...
分类：
其他好文 时间：
2014-11-17 21:01:04
阅读次数：
182
当我们在运行作业的过程中也可以查看Web控制台的信息：此时发现了一个作业ID，点击进入可以查看作业进一步的信息：进一步看通过Web控制台看SparkWorker1中的Container中的运行信息：刷新Web控制台：
分类：
其他好文 时间：
2014-11-17 20:58:21
阅读次数：
137
第二步：构造分布式的Spark1.0.2集群1,下载Scala2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；2，安装和配置Scala...
分类：
其他好文 时间：
2014-11-14 20:56:42
阅读次数：
239
