码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop学习笔记(2)-搭建Hadoop本地模式

时间:2016-04-17 22:44:17      阅读:138      评论:0      收藏:0      [点我收藏+]

标签:

0.前言

hadoop总共有三种运行方式。本地模式(Local (Standalone) Mode),伪分布式(Pseudo-Distributed Mode),分布式(Fully-Distributed Mode)。后面足一讲解搭建本地以及伪分布式,分布式读者自行搭建。
参考资料(官网为主,网络资料为铺):
http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

测试环境:ubuntu14(读者可以自行安装虚拟机vmware里运行ubuntu)

1.安装JDK

Hadoop是要安装在JVM上运行的,所以都要安装JDK。所以必须按照JVM。

1.1 下载JDK

下载网址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择linux 64位系统,压缩后缀是tar.gz
技术分享
截图中时8.73版本。我实际下载的时8.71版本。

1.2 解压

我下载的在Downloads文件夹里,进入Downloads文件夹,再直接解压到/usr/local/jdk里,当然要先在/usr/local/文件夹里新建jdk文件夹:
命令如下:
技术分享
技术分享
技术分享

1.3 配置JDK,JRE环境变量

我使用的是vim命令修改配置文件,所以要先安装vim编辑工具。代码如下:
技术分享

修改bashrc文件,添加环境变量
技术分享
在文件末尾加入如下内容: (只加入红色框里的内容)
技术分享

再用soure命令,使其生效:
技术分享

1.4 验证

输入:java -version
能显示版本号,就表示JDK配置成功。
技术分享

3.安装Hadoop

这里安装本地模式

3.1下载

下载地址:
http://hadoop.apache.org/releases.html
我选用时2.6.4版本,点击binary进入下载页面。
技术分享
下来来后在系统的Downloads里
技术分享

3.2解压

在local文件夹里创建一个hadoop文件夹。用来解压后存放hadoop-2.6.4
技术分享
回到Downloads文件夹里解压hadoop:
技术分享
技术分享

3.3配置Hadoop环境变量

配置前,先进入/usr/local做个权限设置,使用命令:sudo chmod –R 777 hadoop
技术分享
将hadoop文件夹设置为读写权限为最高。这样后面修改配置文件和该目录下创建文件夹等都会很方便。

配置hadoop环境就是配置hadoop-env.sh文件。命令如下图:
技术分享
修改下图JAVA_HOME路径,添加HADOOP_HOME路径(路径和自己实际存放位置一致)。内容如下图:
技术分享

验证配置是否成功,输入bin/Hadoop version 可以查看Hadoop 2.6.4版本:
技术分享

3.4 配置Hadoop的bin配置环境变量

将bin目录配置到环境变量里。编辑.bashrc文件:
技术分享
添加如下红色框图里的内容。
技术分享

用source命令使配置生效:
技术分享
这个时候hadoop的bin目录下的命令可以在所有目录下使用,测试如下,在根目录下使用hadoop version。
技术分享
此时本地模式配好了。

4.测试本地模式

创建input文件夹作为方要测试的输入文件。
将hadoop目录里的etc/hadoop目录下的所有.xml结尾的文件复制到input里
技术分享

这里测试2个mapreduce程序,一个grep,一个wordcount。

4.1例子一:grep

该例子是搜索input文件夹内所有文件,找到以dfs开始后面跟着字母a-z的单词,并输出在output里。

输入代码如下:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output ‘dfs[a-z.]+’
技术分享

用cat命令来查看output文件夹里的所有文件。
输入:cat output/*
技术分享

4.2例子二:wordcount

该例子是搜索input文件夹内所有文件,统计所有单词出现的次数,并输出在output/wordcount文件夹里。
技术分享

用cat命令查看
技术分享
结果如下:
技术分享

到此Hadoop本地模式配置完成。


XianMing

Hadoop学习笔记(2)-搭建Hadoop本地模式

标签:

原文地址:http://blog.csdn.net/xummgg/article/details/51172933

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!