Hadoop例子——运行example中的wordCount例子一、 需求说明单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为 MapReduce版"Hello World"，该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能...
分类：
其他好文 时间：
2015-01-21 22:10:27
阅读次数：
226
1.准备jar包与安装eclipse.2.将jar包拷贝到eclipse/plugin. 3.打开eclipse,在eclipse中配置hadoop home windows—>preference,选择自己的hadoop安装路径： 4.windows—>show view—>other:...
分类：
系统相关 时间：
2015-01-19 20:55:39
阅读次数：
239
MRUnit是对MapReduce程序进行单元测试的工具，可以对Mapper和Reducer程序分别进行测试。但是它没有集成在Hadoop安装环境中，如果想在开发MapReduce程序时使用这个工具，就需要自己安装。
MRUnit的安装
安装环境：
Eclipse版本为3.6.0
Hadoop版本为1.0.4
安装步骤：
（1）下载MRUnit，网址为http://...
分类：
其他好文 时间：
2015-01-19 12:54:56
阅读次数：
729
作者：二青邮箱：xtfggef@gmail.com 微博：http://weibo.com/xtfggef现在开始要系统地学习下Hadoop了，虽然可能有点儿晚，但是还是想好好学习一下这门火爆的技术，让我们从安装环境开始。官方文档本文使用的个软件及版本如下：Ubuntu 14.10 64 Bit Server EditionHadoop2.6.0JDK 1.7.0_71sshrsync首先...
分类：
编程语言 时间：
2015-01-11 19:11:20
阅读次数：
386
Hadoop是一个复杂的系统组合，搭建一个用于生产的Hadoop环境是一件非常麻烦的事情。但这个世界上总有一些牛人会帮你解决一些看似痛苦的问题，如果现在没有，那也是早晚的事。CDH是Cloudera旗下的Hadoop套装环境，CDH的相关介绍请各位亲自己查阅www.cloudera.com，我就不再多说了。这里主要是介绍使用CDH5.3安装一个可以用于生产的Hadoop环境。虽然人家Cloudera牛人帮你解决了hadoop安装的问题，但随之而来的是：Cloudera Manager的安装不比hadoop的...
分类：
其他好文 时间：
2015-01-09 23:48:10
阅读次数：
514
第一步，选择要安装的hadoop版本的tar.gz的压缩文件，并解压到指定目录。第二步、创建一个存放数据的文件夹，这个文件夹的名字可以自行命令，但是要包括三个子文件夹（这三个子文件夹，可以分开，不过一般我们将它们放到同一个文件夹中）这三个文件夹中，其中data(datanode节点使用，保存数据内容...
分类：
其他好文 时间：
2015-01-09 01:34:23
阅读次数：
157
1 ssh-host-config ?错误： There are still ssh processes running. Please shut them down first. ?解决： ps -ef | grep -v grep | grep ssh??????????kill -9 xxx ? 2?ssh localhost ?错误：c...
分类：
其他好文 时间：
2015-01-08 18:22:11
阅读次数：
191
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
1.配置hadoop_home/et...
分类：
其他好文 时间：
2015-01-04 11:25:01
阅读次数：
206
1.首先是jps,看看java进程是否都在
2.查看hdfs和yarn的web地址,看看能否出现
3.hdfs dfs -ls / ,看看目录是否列的出来
4../hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 5 10 跑一个mr例子试试
这样就差不多了...
分类：
其他好文 时间：
2015-01-04 11:23:40
阅读次数：
139
Hadoop安装1.修改本机host，设置域名 0-1).vi /etc/hosts 192.168.128.138 yyl.hadoop 1). vi /etc/sysconfig/network 修改内容： NETWORKING=yes HOSTNAME=yyl.h...
分类：
其他好文 时间：
2015-01-04 09:46:31
阅读次数：
185
