码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop-1.x安装与配置

时间:2015-02-27 23:01:38      阅读:329      评论:0      收藏:0      [点我收藏+]

标签:hadoop   分布式   

1、在安装Hadoop之前,需要先安装JDK和SSH。

Hadoop采用Java语言开发,MapReduce的运行和Hadoop的编译都依赖于JDK。因此必须先安装JDK1.6或更高版本(在实际生产环境下一般采用JDK1.6,因为Hadoop的部分组件不支持JDK1.7及以上版本)。Hadoop利用SSH来启动Slave机器上的守护进程,对于在单机上运行的伪分布式,Hadoop采用了与集群相同的处理方式。所以SSH也是必须安装的。

JDK1.6的安装配置步骤:

(1)从网上下载JDK1.6的安装包

(2)安装JDK1.6

将安装包解压到/Library/Java/JavaVirtualMachines/。

(3)配置环境变量

在.bash_profile添加对Java环境的配置

export JAVA_6_HOME=/Library/Java/JavaVirtualMachines/jdk1.6.0.jdk/Contents/Home
export JAVA_HOME=$JAVA_6_HOME
export PATH=$PATH:$JAVA_HOME/bin
在终端下输入:source .bash_profile,加载配置。

(4)验证JDK是否安装成功

在终端输入命令:java -version

显示如下信息说明JDK安装成功:

bowen@bowen ~$ java -version
java version "1.6.0_37"
Java(TM) SE Runtime Environment (build 1.6.0_37-b06-434)
Java HotSpot(TM) 64-Bit Server VM (build 20.12-b01-434, mixed mode)

SSH的安装和配置

(1)安装ssh,输入命令:

$sudo apt-get install openssh-server

(2)配置本机为免密码登陆。

建立 SSH key;完了以后将在~/.ssh/目录下生成id_rsa和id_rsa.pub两个文件,这是SSH的一对公私钥。

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
(3)验证SSH是否安装成功

输入命令:ssh -version

显示结果:

bowen@bowen ~$ ssh -version
OpenSSH_6.2p2, OSSLShim 0.9.8r 8 Dec 2011
Bad escape character 'rsion’.
登录一下本机,使用ssh WuCloud或者ssh localhost都行,第一次要输入一个yes,然后退出,再登录,发现不用密码了,这一步便完成了。


2、安装和配置Hadoop

(1)从Hadoop官网下载安装包,并将其解压。我这里采用的版本是hadoop-1.2.1。

$sudo tar -zxvf hadoop-1.2.1.tar.gz

(2)Hadoop配置

现在可以用以下三种支持的模式中的一种启动Hadoop集群:

单机模式;伪分布式模式;完全分布式模式。

与完全分布式部署相比,伪分布式并不能体现出云计算的优势,但是便于程序的开发和测试。由于条件限制,这里采用伪分布式配置Hadoop。需进入hadoop的conf目录,修改下面几个文件。

在hadoop-env.sh中指定JDK安装位置:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.6.0.jdk/Contents/Home

在core-site.xml中,配置HDFS的地址和端口号:

<configuration>
      <property>
          <name>fs.default.name</name>
         <value>hdfs://127.0.0.1:9000</value>
     </property>
 </configuration>
在hdfs-site.xml中,配置HDFS的备份方式。一般默认值为3,在单机版hadoop中需配为1。

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
  </configuration>
在mapred-site.xml中,配置JobTracker的地址和端口。

<configuration>
      <property>
          <name>mapred.job.tracker</name>
          <value>localhost:9001</value>
      </property>
 </configuration>
第一次运行hadoop,要格式化Hadoop的文件系统。

在hadoop目录下输入:

$ bin/hadoop namenode -format

启动Hadoop服务:

$ bin/start-all.sh

如果没报错的话,就表示启动成功了。

(3)验证Hadoop是否成功安装。在浏览器输入如下网址:

http://localhost:50030 (MapReduce的Web页面)

http://localhost:50070 (HDFS的Web页面)

如果能正常查看,说明已经安装成功。接着可以运行wordcount例子来检查hadoop能否运行作业。

在hadoop目录下,hadoop-examples-1.2.1.jar这个是测试程序,里面包含了很多测试用的代码。建立一个目录,比如/home/hadoop/input/,拷贝一些文本文件到该目录下

运行以下命令:

$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcout /home/hadoop/input/ /home/hadoop/output/
运行结束后会在/home/hadoop/下生成一个output目录,里面有part-r-00000和_SUCCESS两个文件,看到_SUCCESS就知道已经成功了,打开part-r-00000,可以看到每个单词的出现次数都给统计好了。

Hadoop-1.x安装与配置

标签:hadoop   分布式   

原文地址:http://blog.csdn.net/dutsoft/article/details/43973223

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!