cloudera上面安装Spark2.0

时间：2017-09-30 00:43:01 阅读：238 评论：0 收藏：0 [点我收藏+]

Cloudera默认值是提供Spark1.6的安装，下面介绍如何来安装spark2.1

1. csd包：http://archive.cloudera.com/spark2/csd/

2. parcels：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/，根据操作系统选择对应的parcel文件，sha1文件，记得还要把列表最下面的manifest.json文件一并拷贝下来；注意需要sha1文件改名为sha；

3. 在cloudera parcels目录下（推荐目录/opt/cloudera）下面的csd文件中copy一下csd包

4. 在cloudera parcels目录下parcels-repo文件夹下拷贝parcels文件；

5. 进入cloudera管理页面，Hosts->Parcles，点击check for new parcles按钮，可以自动探测到spark2的parcles；

6. 点击spark一行右侧的Distribute按钮（发布-拷贝到集群个台机器）；完事后再点击一次该按钮（激活-启动；此时按钮显示为Activate）；

7. 此时addService还是不行，需要重启一下scm服务，重启服务的目的是能够重新读取一下csd文件夹下的内容，否则无法在add service的列表中看到spark2；然后在add Service的界面将会看到Spark2的安装选项；红字告知CDH默认并不带有此；但是我们已经通过自定义添加Spark2的Parcel了。

完事

cloudera上面安装Spark2.0

标签：str 服务 json repo 选项 div ace 目录目的

原文地址：http://www.cnblogs.com/xiashiwendao/p/7612999.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行