码迷,mamicode.com
首页 > 系统相关 > 详细

[Hadoop] 在Ubuntu系统上一步步搭建Hadoop(单机模式)

时间:2015-06-21 07:02:34      阅读:212      评论:0      收藏:0      [点我收藏+]

标签:

1 创建Hadoop用户组和Hadoop用户

  Step1:创建Hadoop用户组:

    ~$ sudo addgroup hadoop

  Step2:创建Hadoop用户:

    ~$ sudo adduser -ingroup hadoop hadoop

  回车后会提示输入密码,这是新建Hadoop的密码,输入两次密码敲回车即可。如下图所示: 

 技术分享

  Step3:为Hadoop用户添加权限:

  ~$ sudo gedit /etc/sudoers

  点击回车后,打开sudoers文件,在

  root    ALL=(ALL:ALL) ALL

  后添加:

  hadoop   ALL=(ALL:ALL) ALL

  注意:“hadoop” 后为"\t",而不是一个空格,一旦sudoers修改错误会引起很严重的后果(比如导致sudo命令无法正常使用,这时候只能通过root权限进行复原)。修改后的sudoers文件如下图所示:

技术分享  

2 用新增hadoop用户名登陆Ubuntu系统

  ~$ su - hadoop

  输入密码即可。

3 安装SSH

  Step4:安装Hadoop通信需要的SSH:

    ~$ sudo apt-get install openssh-server

  安装完以后,启动服务:

    ~$ sudo /etc/init.d/ssh start

  启动后,可以通过如下命令来确认服务是否正确启动:

    ~$ ps -e | grep ss

  如下图所示:

技术分享

  作为一个安全通信协议,使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥:

    ~$ ssh-keygen -t rsa -P ""

  如下图所示:

技术分享

  此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容):

    ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  现在可以登入ssh确认以后登录时不用输入密码:

    ~$ ssh localhost

技术分享

  退出:

    ~$ exit

4 安装Java

  Step5:安装Java:

    ~$ sudo apt-get install openjdk-6-jdk 

 

技术分享

  安装完后,可以输入如下指令查看Java的版本:  

    ~$ java -version

5 安装和配置Hadoop

  Step6:安装Hadoop:

  1)下载:

    目前最新版本为2.7.0,可以根据自己的需要,安装不同版本的Hadoop,下载地址:请点击这里

  2)解压:

    ~$ sudo tar xzf hadoop-2.7.0.tar.gz

  3)将hadoop移动到 /usr/local/hadoop目录下:

    ~$ sudo mv hadoop-1.0.2 /usr/local/hadoop

  4)要确保所有的操作都是在用户hadoop下完成的:

    ~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

  Step7:配置Hadoop:

  1)配置.bashrc:

       配置该文件,需要知道Java的安装路径,可以通过下面的代码查看:

    ~$ update-alternatives - -config java

        执行结果如下:

技术分享

    

  完整的路径为:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java,我们只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64。

     修改.bashrc文件:

       ~$ sudo gedit ~/.bashrc   

  该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

  使添加的环境变量生效:

          ~$ source ~/.bashrc

  2)配置hadoop-env.sh

  打开hadoop-env.sh文件:

          ~$ sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

  找到JAVA_HOME变量,按如下进行修改:

          ~$ export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改后的hadoop-env.sh文件如下所示

技术分享

  使配置生效:

    ~$ source /usr/local/hadoop/conf/hadoop-env.sh

  到这里,单机模式的hadoop就全部安装完毕了。

6 Hadoop测试

  为了测试Hadoop安装在正确性,我们可以用在带的例子(比如WordCount)进行测试。

  1) 在/usr/local/hadoop路径下创建input文件夹    

    ~$ mkdir input

  2)拷贝 README.txt 到 input 文件夹

    ~$ cp README.txt input

  3)执行WordCount程序实例

       ~$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.0-sources.jar org.apache.hadoop.examples.WordCount input output

技术分享

  如果看到这些内容,那么恭喜你,这说明你的Hadoop已经安装成功了。

7 结语

  从Ubuntu上安装Hadoop的过程上可以看出,以前你觉得很困难,一直不敢尝试的东西,其实可能它很简单。只要你自己想学,就一步步地来,问题总能找到办法来解决,在此与大家共勉。

8 参考内容

  [1] Ubuntu 14.04下安装Hadoop2.4.0(单机模式)

  [2] Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

 

[Hadoop] 在Ubuntu系统上一步步搭建Hadoop(单机模式)

标签:

原文地址:http://www.cnblogs.com/maybe2030/p/4591195.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!