码迷,mamicode.com
首页 > 其他好文 > 详细

CDH使用之CDH 5.3.x安装

时间:2015-05-15 13:45:24      阅读:231      评论:0      收藏:0      [点我收藏+]

标签:cdh   hadoop   cdh5.3.x   

前言:CDH是由Cloudera公司发行的Hadoop版本,全称(Cloudera‘s Distribution Including Apache Hadoop)。该版本基于原生Apache Hadoop版本进行改进,添加了补丁和自行开发的组件,更加稳定易用。并且Cloudera公司已将CDH开源,可以不依靠CM也可以进行独立安装,目前来看在国内市场占有比重较大。本文采用CM方式进行安装,安装环境为CentOS6.5,暂不介绍独立安装方式安装。


安装准备介质准备




本文采用parcel包方式安装,需要下载相关的3个文件。

parcel包地址:http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/

需要下载如下三个文件

技术分享

如果采用rpm方式安装,地址为:

http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/

系统配置


a) 用户创建

CDH安装建议使用普通用户进行安装,使用root用户安装也可以,安装完成之后如果有其他新普通用户需要使用时,添加到对应的hadoop用户组(默认组为supergroup)即可。

创建用户

# useradd <用户名称>

修改密码

# passwd <用户名称>


b) host配置

安装CDH集群之前,必须配置hosts,将需要添加到集群中的机器配置到hosts中:

    # vi /etc/hosts

技术分享


安装
安装方式选择



    • CDH通过CM可以选择的安装方式有采用rpm方式和parcel包方式(官方建议采用parcel包方式安装,便于后期升级维护),本文介绍parcel包方式。安装基于CM安装(CM安装部分请参看CDH使用之CM 5.3.x安装)



2、启动http服务

采用parcel包方式安装不需要创建repo文件,浏览器可以访问该地址即可。


启动http 服务

# service httpd start

查看http服务状态

# service httpd status


3、开始安装







    此处从CM安装完毕首次打开7180端口界面开始进行安装:

技术分享

添加主机IP地址,hostname也可以(主机较多情况下可以填crxy[171-179]),然后点击搜索。

技术分享


搜索到主机选择需要安装CDH的主机之后点击继续:

技术分享


添加本地parcel包地址(添加时删除其他默认网络地址),其他存储路径默认。

技术分享


此处如果没有刷新出对应的CDH版本,检查是否能正常访问parcel包相关3个文件,如果可以正常访问但是仍然没有正常刷新的情况可以重启CM server服务,到cm所在机器执行如下命令:

重启cm server

service cloudera-scm-server restart

重启cm agent

service cloudera-scm-agent restart


技术分享


技术分享


点击继续:

技术分享


技术分享


开始走进度条,等待一段时间(建议配置内网ip):

技术分享


安装完成:


技术分享


往主机上分配parcel包:

技术分享

安装完成后开始分配服务组件, 选择自定义(可根据实际需要进行选择):

技术分享


服务节点分配(根据主机硬件配置合理配置):

技术分享

填写存储目录,点击继续开始首次分配服务:

技术分享


安装完成之后调转到主页面

技术分享


服务显示红色的状态,需要添加NTP server时间同步,不适用CDH的时间同步方式关掉即可。如图方式关闭,保存:

技术分享


状态如下,安装完成。

技术分享


如果使用普通用户进行安装,主机上切换为普通用户之后,为方便使用hadoop shell命令,可以使用如下方式在hdfs上创建对应的用户(用户名一致):

创建hdfs用户

sudo -u hdfs hadoop fs -mkdir /user/test11

为hdfs用户赋权

sudo -u hdfs hadoop fs -chown -R test11:test11 /user/test11


技术分享

4、错误定位

技术分享

注意:如果安装失败,需要到/etc/yum.repos.d/目录查看是否有多余的repo文件生成,repo文件内容是否正确,然后在点击重试。



CM安装部分请参考 CDH使用之CM 5.3.x安装。

更多精彩内容请关注:http://bbs.superwu.cn

关注超人学院微信二维码: 技术分享

CDH使用之CDH 5.3.x安装

标签:cdh   hadoop   cdh5.3.x   

原文地址:http://blog.csdn.net/crxy2016/article/details/45742643

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!