Centos 7 安装hadoop

标签：软件   mapred   ssh   dem   kconfig   ima   发布   date   firewalld   

安装centos7 

请参考 ：centos7 安装

新增hadoop用户

A．添加用户 Hadoop

 执行命令：useradd hadoop

B. 设置用户密码

 执行命令：passwd Hadoop 设置密码。

C. 给该用户赋予sudo命令权限

 执行命令：chmod u+w /etc/sudoers

D. 在sudoers添加用户信息

 执行命令：vim /etc/sudoers，并且在如下位置添加 Hadoop  ALL =(ALL)  ALL。如下图：

注：如果遇到vim不可用，需要安装，输入命令：yum install vim 即可。 

E．更改权限：chmod u-w /etc/sudoers

SSH免密码登录

A． 关闭防火墙

配置SSH免密码登录前，需要关闭防火墙。

查看防火墙状态：如果开启状态，需要关闭。

执行命令：firewall-cmd --state

执行命令：service iptables stop

也可以执行命令：chkconfig iptables off 来永久关闭 

注:如果遇到如下图错误，

可以执行命令：yum install iptables-services 来安装相关组件

如果yum 安装命令不可用,则是因为/etc/sysconfig 不存在iptables，centos7可以这样解决：

A1. 停止并屏蔽firewalld服务

执行命令：systemctl stop firewalld

          systemctl mask firewalld

此时使用yum来安装组件包了。

A2. 安装iptables-services软件包

执行命令：yum install iptables-services

A3. 启用iptables服务

执行命令：systemctl start iptables

此时可以再次执行关闭防火墙命令（service iptables stop

），并且进行状态验证,如下图：

B． 安装SSH（使用Hadoop用户）

首先，检查SSH是否安装

执行命令：rpm -qa | grep openssh，如下图：

安装缺失的软件：

执行命令：sudo yum install openssh*

注册服务，并开启SSH服务

执行命令：sudo systemctl enable sshd

          sudo systemctl start sshd 或

          service sshd start

   生成SSH公钥

   执行命令：ssh-keygen -t rsa

将公钥发至本机的authorized_keys的列表

执行命令：ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hh

 验证SSH免密码

执行命令：ssh hh，如果不用输入密码，则成功，如下图：

安装jdk

      首先用SecureCRT的sftp传输下载好的jdk到centos7的/home/hadoop/softs目录

      执行命令：cd /home/hadoop

                mkdir softs

      创建softs文件夹。

      用sftp传输到指定目录，如下图：

      将jdk压缩包移到 /usr/local/jdk 目录下

       执行命令：mv  /home/hadoop/softs/jdk1.7.0_80  /usr/local/jdk      

       配置环境变量，对/etc/profile 进行文件内容追加

       执行命令：vi /etc/profile

       之后，执行命令:source /etc/profile 使得配置生效。

       检验java安装成功

       执行命令：java -version ，如下图，则为成功：

安装hadop 

1． 传输hadoop taz包到centos的 /home/hadoop/softs目录，使用sftp的put指令。如图：

  2 .  解压hadoop  到/home/hadoop/bigdater 目录下

      执行指令：cd /home/hadoop/bigdater

                        tar -zxvf  /home/hadoop/softs/hadoop-2.5.0-cdh5.3.6.tar.gz

  3 .  修改配置文件。配置文件主要在 /etc/hadoop 目录下，如图：

   有很多配置文件，目前需要修改的配置文件的介绍在如下列表：

首先配置hadoop-env.sh 

执行命令：vi /etc/hadoop/hadoop-env.sh，并在底部添加，如下内容。

export JAVA_HOME=/usr/local/jdk/jdk1.7.0_80

export HAODDP_HOME=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/

其次配置core-site.xml

执行命令：vi /etc/hadoop/core-site.xml,修改为如下所示：

其次配置hdfs-site.xml ,修改hdfs-site.xml 为：

<configuration>

 <property>

    <name>dfs.replication</name>

    <value>3</value>

 </property>

 <property>

    <name>dfs.name.dir</name>

    <value>/usr/local/hadoop/hdfs/name</value>

 </property>

 <property>

    <name>dfs.data.dir</name>

    <value>/usr/local/hadoop/hdfs/data</value>

 </property>

</configuration>

注:dfs.replication 设置hdfs副本为3.

  ds.name.dir  设置NameNode的元数据存放路径。

  dfs.data.dir   设置DataNode的存储数据路径

其次修改mapred-site.xml

默认情况下，/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。

执行命令：  复制并重命名

    cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml，进入编辑，修改为：

<configuration>

   <property>   

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

   </property>

</configuration>

表明MapReduce计算框架基于Yarn工作。

其次修改yarn-site.xml,修改为：

<configuration>

<!-- Site specific YARN configuration properties -->

   <property>

      <name>yarn.resourcemanager.address</name>

      <value>hh:8080</value>

   </property>

   <property>

      <name>yarn.resourcemanager.resource-tracker.address</name>

      <value>hh:8082</value>

   </property>

   <property>

      <name>yarn.nodemanager.aux-services</name>

      <value>mapreduce_shuffle</value>

   </property>

   <property>

      <name>yarn.nodemanager.aux-services.mapreduces.shuffle.class</name>

      <value>org.apache.hadoop.mapred.ShuffleHandler</value>

   </property>

</configuration>

最后修改slaves，修改为：hh（当前主机名）

配置hadoop环境变量到/etc/profile ,增加如下内容：

export HADOOP_HOME=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6

export PATH=$PATH:$HADOOP_HOME/bin

并且执行命令：source /etc/profile  重新加载配置。 

格式化HDFS

执行命令：hadoop namenode -format 

启动hadoop

    a 赋予可执行权限（用hadoop用户）

执行命令：chmod +x -R /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/sbin/

b 启动脚本（hadoop用户，hh主节点都要执行）

执行命令：. /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/sbin/start-all.sh

c 验证启动是否成功

执行命令：jps，如果出现如下图所示的信息，则说明hadoop启动成功：

Centos 7 安装hadoop

标签：软件   mapred   ssh   dem   kconfig   ima   发布   date   firewalld   

原文地址：http://www.cnblogs.com/zhexy/p/7712492.html