CDH5.5.1 安装Spark ON Yarn环境

时间：2016-03-26 12:18:57 阅读：153 评论：0 收藏：0 [点我收藏+]

标签：

CDH对我们已经封装了，我们如果需要Spark on Yarn，只需要yum安装几个包就可以了。

前面的文章我有写过如果搭建自己内网的CDH Yum服务器，请参考《CDH 5.5.1 Yum源服务器搭建》http://www.cnblogs.com/luguoyuanf/p/56187ea1049f4011f4798ae157608f1a.html

如果没有内网Yarn服务器的，请使用Cloudera的yum服务器。

wget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo

开始安装(所有的从节点)

yum install -y spark-core spark-python

是不是很简单？

测试：

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 4g --executor-memory 2g --executor-cores 2--queue thequeue /usr/lib/spark/lib/spark-examples.jar 2

来自为知笔记(Wiz)

CDH5.5.1 安装Spark ON Yarn环境

标签：

原文地址：http://www.cnblogs.com/luguoyuanf/p/a3316e187d4a9e2c54836317a4fceab8.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行