码迷,mamicode.com
首页 > 其他好文 > 详细

2-10 就业课(2.0)-oozie:13、14、clouderaManager的服务搭建

时间:2019-07-15 01:41:26      阅读:179      评论:0      收藏:0      [点我收藏+]

标签:down   压缩   环境搭建   mapreduce   scp   azkaban   style   其他   x86_64   

3、clouderaManager安装资源下载

第一步:下载安装资源并上传到服务器

 

我们这里安装CM5.14.0这个版本,需要下载以下这些资源,一共是四个文件即可

下载cm5的压缩包

下载地址:http://archive.cloudera.com/cm5/cm/5/

具体文件地址:

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz

 

 

下载cm5的parcel包

下载地址:

http://archive.cloudera.com/cdh5/parcels/

 

第一个文件具体下载地址:

http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

 

第二个文件具体下载地址:

http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1

 

第三个文件具体下载地址:

http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json

 

 

将这四个安装包都上传到第一台机器的/export/softwares路径下

 

 

第二步:解压压缩包到指定路径

解压CM安装包到/opt路径下去

cd /export/softwares

tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/

第三步:将我们的parcel包的三个文件拷贝到对应路径

将我们的parcel包含三个文件,拷贝到/opt/cloudera/parcel-repo路径下面去,并记得有个文件需要重命名

cd /export/softwares/

cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json  /opt/cloudera/parcel-repo/

 

重命名标黄的这个文件

cd /opt/cloudera/parcel-repo/

mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha

 

 

 

第四步:所有节点添加普通用户并给与sudo权限

在node01机器上面添加普通用户并赋予sudo权限

执行以下命令创建普通用户cloudera-scm

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

 

 

 

赋予cloudera-scm普通用户的sudo权限

visudo

cloudera-scm ALL=(ALL) NOPASSWD: ALL

 

第五步:更改主节点的配置文件

node01机器上面更改配置文件

 

vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini

server_host=node01.hadoop.com

 

 

第六步:将/opt目录下的安装包发放到其他机器

将第一台机器的安装包发放到其他机器

cd /opt

scp -r cloudera/ cm-5.14.0/ node02.hadoop.com:/opt

 

第七步:创建一些数据库备用

node02机器上面创建数据库

hive 数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

hue 数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

oozie 数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

 

第八步:准备数据库连接的驱动包

在所有机器上面都准备一份数据库的连接驱动jar包放到/usr/share/java路径下

准备一份mysql的驱动连接包,放到/usr/share/java路径下去

cd /export/softwares/

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz

tar -zxvf mysql-connector-java-5.1.45.tar.gz

cd /export/softwares/mysql-connector-java-5.1.45

cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

拷贝驱动包到第二台机器

cd /usr/share/java

scp mysql-connector-java.jar node02.hadoop.com:$PWD

 

 

第九步:为clouderaManager创建数据库

node01服务器执行

/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode02.hadoop.com  -uroot -p123456 --scm-host node01.hadoop.com scm root 123456

 

命令说明:/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 –u数据库用户名 –p数据库密码 --scm-host cm主机  数据库名称  用户名  密码

 

 

 

 

第十步:启动服务

主节点启动clouderaManager Server与ClouderaManager  agent服务

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

 

 

 

从节点node02启动ClouderaManager agent服务

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

 

 

 

第十一步:浏览器页面访问

http://node01:7180/cmf/login

 

默认用户名admin

密码 admin

===================================================

课程总结:
1、oozie的安装使用
oozie是什么:任务调度的框架,与azkaban的功能类似
oozie的安装:一步一步来不要调过 搞定
oozie的任务的执行workFlow:调度shell脚本,调度hive任务,调度mapreduce的任务 搞定
oozie的的多个任务的串联 : 搞定
oozie的定时任务 搞定

hue与oozie的整合 搞定

2、HA的环境搭建 不用做 可以将伪分布模式的环境转换成完全分布式,不丢失hdfs的数据
3、ClouderaManager的环境安装 做不了

 

2-10 就业课(2.0)-oozie:13、14、clouderaManager的服务搭建

标签:down   压缩   环境搭建   mapreduce   scp   azkaban   style   其他   x86_64   

原文地址:https://www.cnblogs.com/mediocreWorld/p/11186538.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!