码迷,mamicode.com
首页 > 其他好文 > 详细

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

时间:2015-11-25 13:16:56      阅读:336      评论:0      收藏:0      [点我收藏+]

标签:

 
1.1 说明

CDH官方有具体安装部署文档,及步骤详情

http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/installation_installation.html

此处为第一种方式Cloudera Manager 自动安装

Cloudera Manager 5的要求和支持的版本具体详情

http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_ig_cm_requirements.html

1.2 部署前准备工作

做好下述工作,部署起来基本不会出问题

1) 群集主机必须具有正常工作的网络名称解析系统和格式正确的 /etc/hosts 文件。所有群集主机必须正确配置正向和反向主机 DNS 解析。

2) 用root用户操作,集群间ssh无密码登录畅通,从而可以确保创建所需的目录,以及确保流程和文件都由适当的用户所拥有(例如,hdfs 和 mapred 用户)。

a) ssh-keygen -t rsa 生成密匙

b) cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

c) ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.15.241:~/.ssh/authorized_keys 将匙导入到authorized_keys文件

3) 必须禁用ipv6(重启后生效)。

a) vi /etc/modprobe.conf加上两条

b) alias net-pf-10 off

c) alias ipv6 off

d) 验证禁用ipv6是否成功 ip address list

4) 关闭防火墙。或者开放特定端口,端口太多,直接关闭防火墙。

a) Service iptables stop

b) chkconfig iptables off

5) 对于 RedHat 和 CentOS,每个主机上的 /etc/sysconfig/network 文件必须包含您为该主机设置(或验证)的主机名

6) Cloudera Manager 和 CDH 使用多个用户帐户和组来完成任务。用户帐户和组的设置取决于您选择安装的组件。请勿删除这些帐户或组,也不要修改其权限。确保现有系统不会防止这些帐户和组正常工作。

7) 调整集群时间同步。可做时间服务器(ntp server)

8) 关闭SELinux(重启后生效)。

a) vi /etc/rc.local

b) 设置SELINUX=disabled

9) 最大限度使用物理内存。

a) Vi /etc/sysctl.conf 添加

b) vm.swappiness = 0

c) sysctl -p 更改生效

10) 关闭“透明大页面”,它可能会导致重大的性能问题。

a) 执行echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

b) 将执行命令添加到/etc/rc.local

1.3 部署

1、 下载执行oudera-manager-installer.bin

http://www.cloudera.com/content/www/en-us/downloads/cdh/5-4-8.html 下载网址

wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

chmod u+x cloudera-manager-installer.bin

./cloudera-manager-installer.bin

2、 然后一直下一步,accept等,直到执行完成。

3、 访问http://主机:7108页安装

4、登录 Cloudera Manager Admin Console。默认凭据包括:用户名:admin密码:admin。Cloudera Manager 不支持更改已安装帐户的 admin 用户名。

技术分享

5、选择要安装的 Cloudera Manager 版本

技术分享

6、通过主机名和 IP 地址范围查找您指定的群集主机

技术分享

技术分享

7、使用 SSH 连接至每台主机以安装 Cloudera Manager Agent 和其他组件

技术分享

8、(可选)在群集主机上安装 Oracle JDK。如果您选择不安装 JDK,则必须在运行向导之前按照官方说明将其安装在所有群集上

技术分享

9、提供ssh登录凭据

技术分享

10、开始安装

技术分享

技术分享

11、下载CDH parcel,这个比较大,大概1.5G左右

技术分享

技术分享

12、检查主机的正确性,如果有问题,按照检查提示进行解决(按照我部署前的准备工作进行准备,这里不会有问题)。

技术分享

13、选择要安装的服务,选择所有服务也可以自定义服务,自己试验搭建内存较小,可以选择核心hadoop

技术分享

14、设置数据库,并测试连接

技术分享

技术分享

15、 集群设置,大多都是一些目录的设置,默认即可

技术分享

16、首次启动

技术分享

技术分享

技术分享

安装完成!

17、安装完成后,里面会有一些错误,按照提示进行修改配置即可(有些不影响使用)。

技术分享

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

标签:

原文地址:http://www.cnblogs.com/Nervermore/p/4994309.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!