升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布 ...
分类：
其他好文 时间：
2020-04-22 13:33:45
阅读次数：
98
1. spark 1.x 升级到spark 2.x 对于普通的spark来说,变动不大 : 1 举一个最简单的实例: spark1.x public static JavaRDD workJob(JavaRDD spark1Rdd) { JavaPairRDD testRdd = spark1Rdd... ...
分类：
其他好文 时间：
2018-11-19 13:31:46
阅读次数：
189
一、环境准备 jdk-1.8+scala-2.11.X+python-2.7 二、创建目录 mkdir -p /opt/cloudera/csd 修改权限 chown cloudera-scm:cloudera-scm /opt/cloudera/csd 获取csd(放到/opt/cloudera/ ...
分类：
其他好文 时间：
2018-09-17 16:15:23
阅读次数：
1861
.具体场景如下： spark1.6 升级 spark2.2 后 分析查询hbase 数据报异常： 后发现spark2.2 引入的包路径为 org.htrace htrace-core-3.0.4 版本的时候路径是 org.htrace 而3.1.0的时候已经贡献给Apache了，改叫org.apac ...
分类：
其他好文 时间：
2018-03-21 15:07:38
阅读次数：
207
一、Cloudera manager的服务安装 包含2个： 1、 是软件包的分发、安装 此种方式安装的时候。Cloudera manager会在激活这个步骤验证软件的版本和当前cdh的兼容性。如果不符合会提示，并且不能激活。 （1）、包的在线安装 上一步中配置会打开这个界面进行：下载地址的配置。 点 ...
分类：
其他好文 时间：
2018-02-05 12:38:58
阅读次数：
252
公司有一个Spark on Yarn集群，基于CM5.2.0+CDH5.2.0搭建，Spark的版本是1.1.0.为了使用Spark1.2.0的一些特性，决定将集群版本升级到CM5.3.3+CDH5.3.3。之所以升级CM，是因为CM的版本号必须大于等于CDH的版本号。下面分成两个步骤介绍升级过程：CM升级和CDH升级。
1 CM升级过程介绍
1.1 admin用户登陆http://1...
分类：
其他好文 时间：
2015-04-15 13:38:14
阅读次数：
279
