标签：
因为开发需要在本地组建一个Hadoop/Spark集群，但公司IT政策不允许本地集群接入互联网，所以只能离线安装各种组件。
下面把安装过程记录下来，作为项目文档。
| HadoopMaster | Cent OS 6.4 x64 | 16G | 192.168.1.10 |
| HadoopSlave1 | Cent OS 6.4 x64 | 16G | 192.168.1.11 |
| HadoopSlave2 | Cent OS 6.4 x64 | 8G | 192.168.1.12 |
可以自行到下面列出的文件目录里去找最新版本或直接点文件链接下载parcel和sha文件
注意：这里我们用的是Cent OS 6.4所以下载的时候要选择带el6标记的
Cloudera Manager:
文件目录：http://archive.cloudera.com/cm5/cm/5/
Cloudera Manager5.7.1包：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.7.1_x86_64.tar.gz
CDH:
文件目录：http://archive.cloudera.com/cdh5/parcels/5/
CHD5.7.1 parcel: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel
CHD5.7.1 sha: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1
Kafka:
文件目录：http://archive.cloudera.com/kafka/parcels/2.0.1/
Kafka1.2.0.1 parcel: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel
Kafka1.2.0.1 sha: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1
打开网络配置
sudo vim /etc/sysconfig/network
如下方式更改主机名，把本台机器的主机名分别改为HadoopMaster/HadoopSlave1/HadoopSlave2
NETWORKING=yes
HOSTNAME=HadoopMaster
重启网络
sudo service network restart
打开hosts文件
sudo vim /etc/hosts
改为如下配置
192.168.1.10 HadoopMaster 192.168.1.11 HadoopSlave1 192.168.1.12 HadoopSlave2
生成SSH密钥
执行下面命令，一路回车~
ssh-keygen -t rsa
执行完之后在~/.ssh/目录下会生成一个保存有公钥的文件：id_rsa.pub
把HadoopMaster公钥追加到SSH验证文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
把HadoopSlave1和HadoopSlave2的公钥写入HadoopMaster的~/.ssh/authorized_keys文件，最终生成如下的内容的authorized_keys文件：
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEArYU2kMXsu75Gzwvuby7OoGzC7GVwxVo+ol/7nJVD BpKpJLRHRe/d2HSNe9ZZRWLK2tU0e41baMxrYRoAKJA2ujcWfy7t57c3ArO9hA7KJy7MqMiT8WHQ M3I2Afsx6sVKeQU/czDLXHn+KjwKbR8z0tuycgtxgkaWx1PCpCKeFDAXDVvxYcurSUNaIGL5Egzu Iy97N52ld/WxUZnRRsTPdpW88JkhWdOV1Bdo4O67rNv5tSYKHXfPwqi8NekqoHIExgVRsHLvM8fe xvV4mo8lXYdQPRCyrtM9/V+4kSW8eaBO7w6hM9YVZIspSqx0+OqibWTvqSmiAVh0JmUT0MCeVQ== hadoop@HadoopMaster ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA7n27x4qSzRQNGQAL+rT1+91IQnM9cwZYFeSUzrJD GDfwCTJMKnRBYxrDMxTAM6MKjfwwkPzXnbKHLQnDiJKUSdF8H2xcgDMBJLssVQjOc2jSEg/VppQN hJwObbIL3k1FbU2KxkOp7yW5PIodZrgUwlH5wdXtfsPKimvv72uA1KUiqPbYA3ZJqXw9Bt87K6Sv IAkvUjshnfaS+wNEBVwW1dhXyz6DHuY+Tn9330+1oYfdmgSjS4ZqvZVothhhV58DNwzAYwINCpBA tkjFbk/SOf0q/4rSJRpe2yH9xOuZdwqXMfk3dkp0UFZkV2EVSLyaCNKwTbSuKN75FWhgl8QB7w== hadoop@HadoopSlave1 ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAw91O/1NWnbr6/vop+xwnqR/XYNpwkWselzyHNqgD PYgXXsDHsvOZbpTX7pgOTgVSmlZetCdX4C1lsc/PO8IitvvBS/qWU216lXaqlW61RcliCrYH/RwN f8XTLx/Ga04w2qEIFlLOiuH6x/KA22muOLYaSIefXv38xj0Hj41iE5ZIseaLuJogn7iqJ6Fq0wQH i6ueF9BasSWnOHhn6CJamYz3FC9r2m3vwPMkgagPp1FdYyDxodK+MZlwu6TxqP6QQ7BY/Wh5DZK8 C8zpDOZGQgWOrghF58TlZSmJYmukv1NqsY8PCFuoj7vfoUzVKQkyKcEiohwBcTb50vGPl06bMQ== hadoop@HadoopSlave2
把HadoopMaster的authorized_keys拷贝到HadoopSlave1和HadoopSlave2
scp ~/.ssh/authorized_keys hadoop@HadoopSlave1:~/.ssh/ scp ~/.ssh/authorized_keys hadoop@HadoopSlave2:~/.ssh/
详细步骤请参考：http://www.cnblogs.com/keitsi/p/5653520.html
#查看安装的Java rpm -qa | grep java #卸载相应的Java包 rpm -e --nodeps Java包名
打开下面链接下载相关的rpm包
http://www.oracle.com/technetwork/java/javase/downloads/index.html
sudo rpm -ivh jdk-8u91-linux-x64.rpm
#安装 sudo yum install mysql-server #开机启动 sudo chkconfig mysqld on #启动 sudo service mysqld start #设置root用户密码 sudo mysqladmin -u root password ‘xxxx‘
如果一个配置端口的话会比较麻烦，所以在安装过程中就把防火墙关闭，可以在安装完成后再根据需求配置
临时关闭
sudo service iptables stop
如果要永久关闭，可以修改配置：
sudo chkconfig iptables off
临时关闭
sudo setenforce 0
如果要永久关闭，可以修改配置：
sudo vim /etc/selinux/config
设置SELINUX=disabled
NTP用于同步各个服务器的时间，如果服务器之间的时间相差太大的话会导致一些服务down掉。
如果是可连接外网并可以连接到时间服务器的话，可以配置，但是这里是内网的测试环境没有办法连接到同步服务器，所以只能自己手机控制时间了！
把cloudera-manager-el6-cm5.7.1_x86_64.tar上传到Master机并拷贝到所有的Slave机子上
scp cloudera-manager-el6-cm5.7.1_x86_64.tar.gz hadoop@HadoopSlave1:~ scp cloudera-manager-el6-cm5.7.1_x86_64.tar.gz hadoop@HadoopSlave2:~
在所有机器上执行下面命令，把cm的压缩文件解压到/opt/
sudo tar xzvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz -C /opt/
在所有Slave机上配置Master机的主机名
sudo vim /opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini
把server_host设置成Master机的主机名
server_host=HadoopMaster
为所有的机器新建cloudera-scm用户，注意把--home设置为对应的路径：
sudo useradd --system --home=/opt/cm-5.7.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
下载MySQL驱动
http://dev.mysql.com/downloads/connector/j/
解压把驱动的jar文件上传到/opt/cm-5.7.1/share/cmf/lib
创建数据库
sudo /opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql@Hadoop0 --scm-host localhost scm scm scm
mysql -uroot -pxxxx
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CentOS 6.x 离线安装 Cloudera 5.7.x - 未完成
标签：
原文地址：http://www.cnblogs.com/keitsi/p/5652353.html
