Hadoop环境搭建（为分布式）

标签：hadoop   绑定   搭建   变量   mapr   temp   prope   .gz   for   

安装前准备（centos）：

1）设置普通用户以及设置sudo权限-----------

-----useadd hadoop

-----passwd hadoop

--[root]--visudo

2）关闭防火墙

---- service iptables stop 

3）设置主机名称

----hostaname hadoop01

----(永久化)--vi /etc/sysconfig/network  [修改HOSTNAME=Hadoop01]

4）IP与主机名称进行绑定

---------vi /host

添加一行 IP地址 hadoop01

安装JDK环境（JDK1.8）

1.安装文件上传到Linux下

2.对其解压   tar -zvxf 文件名 -C/解压到此路径下

3.配置环境变量

--- vi /etc/profile

最后一行开始添加

#JAVA_HOME

export  JAVA_HOME=/opt/app/jdk---[jdk所在路径】---

export PATH=$JAVA_HOME/bin:$PATH

-----source  /etc/profile  (让其生效)

---Java -version  验证一下

安装hadoop

1.下载Hadoop安装包

2.进到安装包所在路径解压  tar -zvxf hadoop-2.7.2.tar.gz -C /路径

3.配置文件

修改权限sudo -chown -R hadoop:hadoop /opt/hadoop-2.7.2/

文件 etc/hadoop/hadoop-env.sh

修改：export JAVA_HOME=/opt/app/jdk-1.8(路径)

文件：etc/hadoop/core-site.xml:

　　<property>

        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:8020</value>
    </property>

文件：etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化 bin/hadoop namenode -format


namenode 启动 

sbin/hadoop-daemon.sh start namenode
用jps 命令查看是否启动成功
datanode启动

sbin/hadoop-daemon.sh start node


配置yarn
文件 修改etc/hadoop/mapred-site.xml.template为：etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


文件：etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

启动resourcemanager
sbin/yarn-deamon.sh start resourcemanager
启动nodemanager

sbin/yarn-deamon.sh start nodemanager

Hadoop环境搭建（为分布式）

标签：hadoop   绑定   搭建   变量   mapr   temp   prope   .gz   for   

原文地址：https://www.cnblogs.com/aifeine/p/10202226.html