码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop-虚拟机配置与hadoop基本配置

时间:2018-11-08 01:08:37      阅读:297      评论:0      收藏:0      [点我收藏+]

标签:serve   虚拟机   pps   默认网关   ifcfg   rop   auth   otp   http   

一、虚拟机设置

环境:centos6.4

vmware网络适配器:桥接模式,禁用vmnet8

vim /etc/sysconfig/network-scripts/ifcfg-eth0

网关的设置参考外部机器的默认网关

技术分享图片
DEVICE=eth0
TYPE=Ethernet
UUID=57cd273b-3bed-4378-957f-fe1552b5212d
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.1.130
PREFIX=24
GATEWAY=192.168.1.1
DNS1=192.168.1.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"
HWADDR=00:0C:29:22:0D:E9
LAST_CONNECT=1540218650
View Code

关闭防火墙:service iptables stop,chkconfig iptables off。

确保外部机器和虚拟机能相互ping通,就可以使用xhell操作虚拟机了。

更改hostname:vim /etc/sysconfig/network --> HOSTNAME=hadoop-server-00

配置集群的hosts:vim /etc/hosts

192.168.1.130 hadoop-server-00
192.168.1.131 hadoop-server-01
192.168.1.132 hadoop-server-02

修改下次启动不使用图形界面:vim /etc/inittab --> id:5:initdefault: --> id:3:initdefault:

完成以上操作后重启虚拟机,重启后可能不会自动连接网络,需要手动连接一下:ifup eth0

二、配置jdk

技术分享图片
mkdir /usr/local/apps
tar -zxf jdk-8u191-linux-x64.tar.gz -C /usr/local/apps/
vim /etc/profile
export JAVA_HOME=/usr/local/apps/jdk1.8.0_191
export PATH=$PATH:$JAVA_HOME/bin
View Code

保存退出后执行 source /etc/profile,并且验证jdk是否配置成功。

三、配置hadoop

下载地址:

 http://archive.apache.org/dist/ 
解压:tar -zxf hadoop-2.4.1.tar.gz -C /usr/local/apps/
进入hadoop的配置目录:/usr/local/apps/hadoop-2.4.1/etc/hadoop
1.修改hadoop的环境信息:vim hadoop-env.sh
export JAVA_HOME=/usr/local/apps/jdk1.8.0_191/

2.修改hadoop运行的公共配置:vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-server-00:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/apps/hadoop-2.4.1/tmp/</value>
</property>
</configuration>

3.修改hdfs相关的配置:vim hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

4.修改mapreduce相关配置:mv mapred-site.xml.template mapred-site.xml,vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5.修改yarn相关配置:vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-server-00</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

6.修改从节点:vim slaves,修改其中的localhost为:

hadoop-server-00

四、启动hadoop

1.格式化hdfs:

/usr/local/apps/hadoop-2.4.1/bin
./hadoop namenode -format

2.手动启动hadoop:cd /usr/local/apps/hadoop-2.4.1/sbin/

./hadoop-daemon.sh start namenode

jps查看是否启动。接着启动datanode:

./hadoop-daemon.sh start datanode

启动secondarynamenode:

./hadoop-daemon.sh start secondarynamenode

查看端口:netstat -nltp,其中50070为外部web访问的端口,可以尝试访问一下:http://192.168.1.130:50070

3.启动yarn的进程:cd /usr/local/apps/hadoop-2.4.1/sbin

./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager

五、使用脚本启动

先关闭之前手动启动的进程,然后进入目录:cd /usr/local/apps/hadoop-2.4.1/sbin/

./start-dfs.sh

多次提示输入密码和信任(可以设置ssh信任关系后就不需要输入密码了),完成后使用jps可以看到已经启动了3个进程。

在登录方生成密钥对,然后将公钥复制给目标主机,在目标机器上将公钥加入授权文件:~/.ssh/authorized_keys(该文件权限为600)

1.生成密钥对:ssh-keygen

2.加入目标机器的授权文件:ssh-copy-id hadoop-server-01

在本机生成:ssh-keygen,把公钥传到本机:ssh-copy-id hadoop-server-00,完成后在登录本机(ssh hadoop-server-00)就不需要密码了。

测试使用脚本启动(不需要输入密码),先停止进程:./stop-dfs.sh,jps

./start-dfs.sh,如果还需要密码说明信任关系设置的不对,需要检测。

./start-yarn.sh,启动yarn进程

 

如果看到5个进程都启动成功了,说明配置ok。

hadoop-虚拟机配置与hadoop基本配置

标签:serve   虚拟机   pps   默认网关   ifcfg   rop   auth   otp   http   

原文地址:https://www.cnblogs.com/wange/p/9833115.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!