Hadoop配置
一、配置jdk
二、配置ssh及免密登录
三、上传hadoop2.6.4.tar.gz文件到linux1
四、创建安装目录，并把hadoop2.6.4.tar.gz文件解压到目录中
命令：tar -zxvf hadoop-2.6.4.tar.gz
我的解压目录：/root/app/hadoop
五、配置hadoop环境变量
vi /etc/profile
配置hadoop的路径
使环境变量生效
source /etc/profile
六、进入hadoop配置文件目录
[root@linux1 hadoop]# cd /root/app/hadoop/hadoop-2.6.4/etc/hadoop/ [root@linux1 hadoop]# ll 总用量 152 -rw-r--r--. 1 root root 4436 5月 24 2017 capacity-scheduler.xml -rw-r--r--. 1 root root 1335 5月 24 2017 configuration.xsl -rw-r--r--. 1 root root 318 5月 24 2017 container-executor.cfg -rw-r--r--. 1 root root 963 12月 25 23:46 core-site.xml -rw-r--r--. 1 root root 3670 5月 24 2017 hadoop-env.cmd -rw-r--r--. 1 root root 4238 12月 25 23:49 hadoop-env.sh -rw-r--r--. 1 root root 2598 5月 24 2017 hadoop-metrics2.properties -rw-r--r--. 1 root root 2490 5月 24 2017 hadoop-metrics.properties -rw-r--r--. 1 root root 9683 5月 24 2017 hadoop-policy.xml -rw-r--r--. 1 root root 775 5月 24 2017 hdfs-site.xml -rw-r--r--. 1 root root 1449 5月 24 2017 httpfs-env.sh -rw-r--r--. 1 root root 1657 5月 24 2017 httpfs-log4j.properties -rw-r--r--. 1 root root 21 5月 24 2017 httpfs-signature.secret -rw-r--r--. 1 root root 620 5月 24 2017 httpfs-site.xml -rw-r--r--. 1 root root 3523 5月 24 2017 kms-acls.xml -rw-r--r--. 1 root root 1325 5月 24 2017 kms-env.sh -rw-r--r--. 1 root root 1631 5月 24 2017 kms-log4j.properties -rw-r--r--. 1 root root 5511 5月 24 2017 kms-site.xml -rw-r--r--. 1 root root 11291 5月 24 2017 log4j.properties -rw-r--r--. 1 root root 938 5月 24 2017 mapred-env.cmd -rw-r--r--. 1 root root 1383 5月 24 2017 mapred-env.sh -rw-r--r--. 1 root root 4113 5月 24 2017 mapred-queues.xml.template -rw-r--r--. 1 root root 844 12月 25 23:50 mapred-site.xml.template -rw-r--r--. 1 root root 21 12月 26 00:10 slaves -rw-r--r--. 1 root root 2316 5月 24 2017 ssl-client.xml.example -rw-r--r--. 1 root root 2268 5月 24 2017 ssl-server.xml.example -rw-r--r--. 1 root root 2237 5月 24 2017 yarn-env.cmd -rw-r--r--. 1 root root 4567 5月 24 2017 yarn-env.sh -rw-r--r--. 1 root root 888 12月 25 23:53 yarn-site.xml
七、配置五个文件
7.1core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://linux1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/apps/hadoopdata</value>
</property>
</configuration>
7.2 hadoop-env.sh
7.3 mapred-site.xml.template
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
7.4 yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
7.5 slaves
这里只配置从节点
八、把配置好的hadoop文件发到所有的从节点
新建patch.sh文件
#!/bin/bash for((i=2;i<5;i++)) do scp -r /etc/profile root@linux$i:/etc/profile scp -r /root/app/hadoop root@linux$i:/root/app/hadoop done
给文件授权，让它变成可执行
chmod u+x patch.sh
执行脚本
./patch.sh
九、格式化hdfs，关闭防火墙，启动hdfs
hadoop namenode –format
service iptables stop
start-dfs.sh
浏览器输入：http://linux1:50070
