需求：求每年当中最高的温度 样本：temp.log 2016080623 2016072330 2015030420 输出结果：2016 30 2015 20 MapReduce分析设计： Mapper分析设计： 1、将文件分割成键值队<k1,v1>，k1代表：行位置，v1代表：一行数据。 2、将这 ...
分类：
其他好文 时间：
2016-08-06 15:45:02
阅读次数：
173
错误： 执行hadoop权威指南上MaxTemperature程序出现Mapper类ClassNotFoundException异常：解决： 将书上的JobConf job = new JobConf(MaxTemperature.class) ;改为：JobConf job = new JobCo...
分类：
移动开发 时间：
2016-01-17 17:37:38
阅读次数：
229
在开发MapReduce程序的过程中，可以首先在本地文件系统上对程序进行测试，而不是一开始就在HDFS上，这样调试起来更加方便。
以《Hadoop权威指南》上的MaxTemperature程序为例，整个项目中包括如下3个源文件，依次为Mapper程序、Reducer程序和job启动程序：
MaxTemperatureMapper.java，MaxTemperatureReducer...
分类：
其他好文 时间：
2015-01-19 17:19:56
阅读次数：
143
在进行本文的操作之前要先搭建一个Hadoop的环境，为了便于实验，可采用单节点部署的方式，具体方法可参见：Centos 6.5 下Hadoop 1.2.1单节点环境的创建
编写源码
主要为创建一个解析气象数据的程序，可以从数据文件中选择气温最高的一年，采用Maven进行编译。下面只包含Maper,Reduce,以及Main函数的代码。完整项目代码请参见
https://g...
分类：
其他好文 时间：
2014-11-26 14:18:14
阅读次数：
535
MaxTemperature.java package cn.kissoft.hadoop.week05;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduc...
分类：
其他好文 时间：
2014-08-15 14:54:39
阅读次数：
307
一、前期准备
1、创建伪分布Hadoop环境，请参考官方文档。
2、准备数据文件如下sample.txt：
12345679867623119010123456798676231190101234567986762311901012345679867623119010123456+001212345678903456
123456798676231190101234567986762311...
分类：
其他好文 时间：
2014-07-10 19:41:45
阅读次数：
479
