码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop开发环境搭建(1)

时间:2014-12-02 22:33:39      阅读:193      评论:0      收藏:0      [点我收藏+]

标签:hadoop   vmware   eclipse   jdk   linux   

作为初学Hadoop的新手,搭建Hadoop开发环境花了我很大功夫。倒不是hadoop搭建复杂,由于hadoop本身是一个分布式、多jvm进程的运行环境,我们想达到能用eclipse进行代码跟踪调试目的,还真不是一般的费劲。

一边在网上向给位前辈学习,一边自己动手尝试,花了我整整一天的时间终于完成了,为了使自己好不太容易完成的成就,后续被轻易忘记,也为了帮助其他hadoop小白同类脱贫致富,花了一晚上总结了此篇博文,以兹鼓励bubuko.com,布布扣


一、准备篇

言归正传,首先是准备篇。这里我们需要准备不少东东:

1、操作系统

如果你是使用linux环境,请直接跳过。

如果你是使用window环境,那么你就需要准备一台虚拟机,用VMware安装一台RedHat Linux Server 6.4-x86_64系统,这个我就不再啰嗦了,大家勤快点网上爬爬,到处都是。

为了省事,我设定直接使用root账号进行工作。因为省了很多权限配上的麻烦,这一点大家可以随意。

然后,你要关闭防火墙,设置selinux=disabled,设置静态ip,hostname,这些网上搜搜都有。

最后,测试一下,在window中ping 虚拟机的ip看看是否通畅,一切OK就万事OK了。否则,你就看看你的window上是否开了防火墙或者360卫士之类的阻挡软件,他们会把vmware的nat服务给禁用,关闭他们吧,我从来不用360卫士之类的东东,老是偷偷摸摸的往他们自个儿家里搬东西,看着就让人生气。


2、安装Java环境

Jdk我们选择的是JDK7,由于oracle官网上下载太麻烦,而且还不能断点续传,特别使人纠结,所以我直接使用的是Cloudera的仓库中的rpm包oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm。直接用YUM安装此rpm包(yum install -y oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm),安装完成后,用java -version检查一下Java的当前版本是不是我们刚才装的,如果不是,请参考:http://blog.csdn.net/gxy3509394/article/details/8166288;或多JDK配置http://www.linuxidc.com/Linux/2012-09/71358.htm

最后配置一下JAVA_HOME,上面的参考博文中都有,我就不骗字数了。


3、安装让人又恨又爱的Hadoop

怎么说啦,这Hadoop吧是个好东西,就是一堆零碎看得使人头痛,好歹有了一个Cloudera,那就是个救世主。这里我们用不到他,嗯,说实话Cloudera Manager的安装也够使人头痛的了。

我们安装使用Hadoop的伪分布式模式,也就是说NN\SNN\DN\YARN全部运行在一台机器上。这个安装很方便,我们选择的是Hadoop最新版2.5.1,从官网上下载hadoop-2.5.1.tar.gz,解压到hadoop-2.5.1目录。

配置hadoop其实很简单,但俺这笨蛋折腾了好久,看了好多hadoop和yarn的配置参数,配了很多,结果老是启动失败,最后才发现是我想得太多了bubuko.com,布布扣

(1)、配置hadoop-2.5.1/etc/hadoop/hadoop-env.sh

export JAVA_HOME=你刚才安装的JDK目录

(2)、cp hadoop-2.5.1/etc/hadoop/mapred-site.xml.template hadoop-2.5.1/etc/hadoop/mapred-site.xml,并在mapred-site.xml添加以下内容:

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

(3)、cp hadoop-2.5.1/etc/hadoop/core-site.xml.template hadoop-2.5.1/etc/hadoop/core-site.xml,并修改core-site.xml如下:

<property>
    <name>fs.default.name</name>
    <value>hdfs://你虚拟机的IP:8020</value>
</property>

(4)、cp hadoop-2.5.1/etc/hadoop/yarn-site.xml.template hadoop-2.5.1/etc/hadoop/yarn-site.xml,并修改yarn-site.xml如下:

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce-shuffle</value>
</property>

(5)、cp hadoop-2.5.1/etc/hadoop/hdfs-site.xml.template hadoop-2.5.1/etc/hadoop/hdfs-site.xml,并修改hdfs-site.xml如下:

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

默认情况下,HDFS数据块副本数是3,而在集群规模小于3的集群中该参数会导致出现错误,这可通过将 dfs.replication 调整为1解决。而且,我们的伪分布模式也不需要那么多副本。


在启动Hadoop前,我们要做个免登操作。为什么要这么做啦?才开始我也不懂,但经过在启动时无数次输入账号密码后,终于悟了bubuko.com,布布扣

(1)、打开命令行终端(Applications->System Tools->Terminal),输入以下命令:
ssh-keygen -t rsa
(2)、将公钥文件 id_rsa.pub 中的内容复制到相同目录下的 authorized_keys 文件中:
cd ~/.ssh/
cat id_rsa.pub >> authorized_keys


好啦,现在一切搞定,启动Hadoop!

格式化 HDFS,命令如下:

cd hadoop-2.5.1

bin/hadoop namenode -format

sbin/start-all.sh

最后用jps查看朋友们是否都起来了,如果看到以下进程就代表一起OK了:

[root@hadoop1 hadoop-2.5.1]#jps

18790 NodeManager
6168 DataNode
6056 NameNode
6473 ResourceManager
6324 SecondaryNameNode

hadoop开发环境搭建(1)

标签:hadoop   vmware   eclipse   jdk   linux   

原文地址:http://blog.csdn.net/duxu2004/article/details/41683503

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!