码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop单机版安装

时间:2015-04-12 20:40:42      阅读:194      评论:0      收藏:0      [点我收藏+]

标签:

前置条件:

1ubuntu10.10安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的)

2jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784 ?

3、下载hhadoop0.21.0.tar.gzhttp://apache.etoak.com//hadoop/core/hadoop-0.21.0/

? ?

? ?

安装hadoop

1、首先将hadoop0.21.0.tar.gz复制到usr下的local文件夹内,(sudo cp hadoop路径 /usr/local)如图1

? ?

技术分享

2、进入到local目录下,解压hadoop0.21.0.tar.gz,如图2

? ?

技术分享

3、为方便管理和hadoop版本升级,将解压后的文件夹改名为hadoop,如图3

? ?

技术分享

? ?

方便起见,新增hadoop的组和其同名用户:

1、创建一个名字为hadoop的用户组,如图4

? ?

技术分享

2、创建一个用户名为hadoop的用户,归到hadoop组下,如图5(一些信息可以不填写,直接按enter键即可)如图5

? ?

技术分享

3、(1)添加用户权限:打开etc下的sudoers文件,添加如下(2)命令,如图6

? ?

技术分享

?--------------------------------------------------------------------------------------------------------------------------------

??(另一种方法是先切换到root用户下,然后修改sudoers的权限,但这样操作一定要小心谨慎,修改权限后要将文件改回只读,否则悲剧啦啦啦,我们一票人死在这点上好多次)

?? 2)在root ALL =(ALL) ALL 下面添加如下文字:

?? ? ? ? ? ?hadoop ALL = (ALL) ALL

??如图7

-----------------------------------------------------------------------------

技术分享

?----------------------------------------------------------------------------------------------

?? /etc/sudoers文件是用于sudo命令执行时审核执行权限用的)

执行命令:$:sudo chown hadoop /usr/local/hadoop(hadoop文件夹的权限赋给hadoop用户)

? ?

安装ssh?(需联网):(了解ssh:http://freewxy.iteye.com/blog/910820

1、安装openssh_server:如图8

? ?

技术分享

2、创建ssh-key,rsa,如图9

? ?

技术分享

?? 填写key的保存路径,如图10填写

? ?

技术分享

3、添加ssh-key到受信列表,并启用此ssh-key,如图11

? ?

技术分享

? ?

4、验证ssh的配置,如图12

? ?

技术分享

? ?

? ?

配置hadoop

0、浏览hadoop文件下都有些什么东西,如图13

? ?

技术分享

? ?

1、打开conf/hadoop-env.sh,如图14

? ?

技术分享

? ?

?? 配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径),如图15

---------------------------------------------------------------------------------------------

技术分享

--------------------------------------------------------------------------------------?

2、打开conf/core-site.xml

?? 配置,如下内容:

Java代码??

? ?

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</property>

</configuration>

? ?

? ?

? ?

? ?

3、打开conf目录下的mapred-site.xml

??配置如下内容:

Java代码??

? ?

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

? ?

? ?

? ?

? ?

? ?

? ?

运行测试?

1、改变用户,格式化namenode,如图18

? ?

技术分享

? ?

??可能遇到如下错误(倒腾这个过程次数多了),如图19

? ?

技术分享

? ?

执行如图20,再次执行如图18

? ?

技术分享

? ?

2、启动hadoop,如图21

? ?

技术分享

? ?

3、验证hadoop是否成功启动,如图22

? ?

技术分享

? ?

? ?

运行自带wordcount?子(jidong啊)

1、准备需要进行wordcount的文件,如图23(在test.txt中随便输入字符串,保存并退出)

? ?

技术分享

-------------------------------------------------------------------------------------------

2、将上一步中的测试文件上传到dfs文件系统中的firstTest目录下,如图24(如果dfs下不包含firstTest目录的话自动创建一个同名目录,使用命令:bin/hadoop dfs -ls查看dfs文件系统中已有的目录)

? ?

技术分享

? ?

3、执行wordcount,如图25(对firstest下的所有文件执行wordcount,将统计结果输出到result文件夹中,若result文件夹不存在则自动创建)

? ?

技术分享

4、查看结果,如图26

? ?

技术分享

? ?

? ?

来自 <http://freewxy.iteye.com/blog/1027569>

Hadoop单机版安装

标签:

原文地址:http://www.cnblogs.com/keedor/p/4420227.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!