1 概述该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。2 为什么要使用MapReduceMap/Reduce，是一种模式，适合解决并行计算的问题，比如T...
分类：
其他好文 时间：
2014-07-16 20:34:13
阅读次数：
264
4.4 Reduce类4.4.1 Reduce介绍整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupT...
分类：
其他好文 时间：
2014-07-16 20:25:29
阅读次数：
224
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-16 20:22:00
阅读次数：
216
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-14 08:35:18
阅读次数：
311
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这...
分类：
其他好文 时间：
2014-07-12 22:50:33
阅读次数：
185
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
一、前期准备
1、创建伪分布Hadoop环境，请参考官方文档。
2、准备数据文件如下sample.txt：
12345679867623119010123456798676231190101234567986762311901012345679867623119010123456+001212345678903456
123456798676231190101234567986762311...
分类：
其他好文 时间：
2014-07-10 19:41:45
阅读次数：
479
