码迷,mamicode.com
首页 > 其他好文 > 详细

搭建Hadoop集群Tips(1)

时间:2016-06-06 10:24:59      阅读:177      评论:0      收藏:0      [点我收藏+]

标签:

1 安装版本

搭建Hadoop2.4.0版本,基于Ubuntu12.04 x86_64、jdk1.7.0_79

2 参考文献:

1)可靠安装文档http://www.aboutyun.com/thread-7684-1-1.html

2)官方安装文档http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/ClusterSetup.html#Installation

3 主要思路:

完全分布式集群搭建思路基本是各主机建立SSH无密码通信,安装JDK,安装Hadoop,测试Hadoop等过程。

首先在基于Linux的系统里用户权限是比较容易出错的地方,具体设置可以参考aboutyun论坛相关文献。

本文所有操作均在root用户下完成,实际环境建议在其他用户权限下配置。

4 SSH无密码互连:

SSH无密码登录的原理是将公钥共享,互持公钥的主机之间就可以通过ssh协议无密码登录。

在生成公钥之前需要配置/etc/hostname文件以及/etc/hosts文件

这里搭建的集群为:

10.174.72.4            root/123             master       
10.174.72.5 root/123 slave1
10.174.72.6 root/123 slave2
10.174.72.7 root/123 slave3
10.174.72.8 root/123 slave4

分别表示IP地址、用户/密码、主机名称

通过配置/etc/hostname文件修改主机名称

root@master:/# vi /etc/hostname

 技术分享

通过配置/etc/hosts文件添加IP地址到主机名称的映射

root@master:/# vi /etc/hosts

技术分享

在各个slave节点完成以上两个文件的修改

常用Linux命令总结

设置SSh具体步骤如下:

第一步:产生密钥

root@master:/# ssh-keygen -t rsa

一直按Enter键直到结束

第二步:进入SSH目录,写入公钥
root@master:/# cd ~/.ssh/
root@master:~/.ssh# cat id_rsa.pub >>authorized_keys

此时可以无密码登录localhost

root@master:~/.ssh# ssh localhost

技术分享

第三步:设置远程无密码登录
通过scp命令将公钥发送到slave1
root@master:~/.ssh# cat id_rsa.pub >> master_key 
root@master:~/.ssh# scp master_key root@slave1:/root/.ssh/

写入authorized_keys

root@master:~/.ssh# cat master_key >> authorized_keys

【注意】:每两台机器完成公钥的写入操作

技术分享

5 主要思路安装JDK

详细安装步骤参考How to Install Oracle Java JDK on Ubuntu Linux

在Ubuntu中安装已编译的软件,一般步骤是解压安装包,修改配置文件,设置PATH环境变量

解压JDK

root@master:/usr/local# tar -zxvf jdk-7u79-linux-x64.tar.gz

设置PATH

root@master:/usr/local# vi /etc/profile

在文件底部添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

通过source命令检查语法

root@master:/usr/local# source /etc/profile

如果需要在控制台编译源文件,需要修改CLASSPATH变量,这里不做介绍了

搭建Hadoop集群Tips(1)

标签:

原文地址:http://www.cnblogs.com/lalaxiaoming/p/5551659.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!