标签:style http io ar color os 使用 sp for
从控制台可以看到我们的程序成功在集群上运行:
Detail for stage 1:
Detail for Stage 0:
查看一下Executors的信息:
上述信息表明程序成功在Spark集群上运行。
第四步:基于IDEA构建Spark开发环境
http://www.jetbrains.com/idea/download/
2,安装IDEA并配置IDEA系统环境变量
具体安装和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627
3,使用IDEA开发Spark程序,我们这里使用SparkPi来验证开发环境
具体开发和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627
4,通过IDEA在集群上运行程序,此时需要加入
“conf.setMaster(“spark://192.168.35.129:7077”)”
运行之即可。
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)
标签:style http io ar color os 使用 sp for
原文地址:http://www.cnblogs.com/spark-china/p/4110064.html