标签:down 压缩 环境搭建 mapreduce scp azkaban style 其他 x86_64
我们这里安装CM5.14.0这个版本,需要下载以下这些资源,一共是四个文件即可
下载cm5的压缩包
下载地址:http://archive.cloudera.com/cm5/cm/5/
具体文件地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
下载cm5的parcel包
下载地址:
http://archive.cloudera.com/cdh5/parcels/
第一个文件具体下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
第二个文件具体下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
第三个文件具体下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json
将这四个安装包都上传到第一台机器的/export/softwares路径下
解压CM安装包到/opt路径下去
cd /export/softwares
tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/
将我们的parcel包含三个文件,拷贝到/opt/cloudera/parcel-repo路径下面去,并记得有个文件需要重命名
cd /export/softwares/
cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/
重命名标黄的这个文件
cd /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha
在node01机器上面添加普通用户并赋予sudo权限
执行以下命令创建普通用户cloudera-scm
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
赋予cloudera-scm普通用户的sudo权限
visudo
cloudera-scm ALL=(ALL) NOPASSWD: ALL
node01机器上面更改配置文件
vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=node01.hadoop.com
将第一台机器的安装包发放到其他机器
cd /opt
scp -r cloudera/ cm-5.14.0/ node02.hadoop.com:/opt
node02机器上面创建数据库
hive 数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
hue 数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
oozie 数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
在所有机器上面都准备一份数据库的连接驱动jar包放到/usr/share/java路径下
准备一份mysql的驱动连接包,放到/usr/share/java路径下去
cd /export/softwares/
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd /export/softwares/mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar
拷贝驱动包到第二台机器
cd /usr/share/java
scp mysql-connector-java.jar node02.hadoop.com:$PWD
node01服务器执行
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode02.hadoop.com -uroot -p123456 --scm-host node01.hadoop.com scm root 123456
命令说明:/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 –u数据库用户名 –p数据库密码 --scm-host cm主机 数据库名称 用户名 密码
主节点启动clouderaManager Server与ClouderaManager agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
从节点node02启动ClouderaManager agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
默认用户名admin
密码 admin
===================================================
课程总结:
1、oozie的安装使用
oozie是什么:任务调度的框架,与azkaban的功能类似
oozie的安装:一步一步来不要调过 搞定
oozie的任务的执行workFlow:调度shell脚本,调度hive任务,调度mapreduce的任务 搞定
oozie的的多个任务的串联 : 搞定
oozie的定时任务 搞定
hue与oozie的整合 搞定
2、HA的环境搭建 不用做 可以将伪分布模式的环境转换成完全分布式,不丢失hdfs的数据
3、ClouderaManager的环境安装 做不了
2-10 就业课(2.0)-oozie:13、14、clouderaManager的服务搭建
标签:down 压缩 环境搭建 mapreduce scp azkaban style 其他 x86_64
原文地址:https://www.cnblogs.com/mediocreWorld/p/11186538.html