一、概述。
MapReduce是一种可用于数据处理的编程模型。Hadoop可以运行由各种语言编写的MapReuce程序。MapReduce分为Map部分和Reduce部分。
二、MapReduce的机制
MapReduce分为几大过程input、Map、shufle、reduce、output
1、input阶段是指将原始文件...
分类：
其他好文 时间：
2015-08-13 22:24:27
阅读次数：
148
以上是对应的RDD的各中操作，相对于MaoReduce只有map、reduce两种操作，Spark针对RDD的操作则比较多***********************************************map(func)返回一个新的分布式数据集，由每个原元素经过func函数转换后组成*...
分类：
其他好文 时间：
2015-08-12 18:33:56
阅读次数：
175
uva 1416 Warfare And LogisticsDescriptionThe army of United Nations launched a new wave of air strikes on terrorist forces. The objective of the mission is to reduce enemy’s logistical mobility. Each a...
分类：
其他好文 时间：
2015-08-11 23:38:26
阅读次数：
230
reduce：描述：对数组中的所有元素调用指定的回调函数。 该回调函数的返回值为累积结果，并且此返回值在下一次调用该回调函数时作为参数提供。语法：array.reduce(callback [, initValue])参数：callback 一个接受最多四个参数的函数。 对于数组中的每个元素，red...
分类：
其他好文 时间：
2015-08-11 20:48:42
阅读次数：
104
为了方便 MapReduce 直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。
运行MapReduce时候报错：java.io.IOException: c...
分类：
数据库 时间：
2015-08-11 18:42:10
阅读次数：
273
网上有很多hadoop例子，但是不难发现，即使是一个wordcount都有很多不一样的地方，我们不可能总拿着别人的例子跑，所以自己要总结出一套规范，让api即使更新也能马上适应过来。这里也以hadoop 专利分析作为炮灰
右键新建map/reduce项目，然后点击项目右键Mapper,Reducer,MapperReduce Driver 并且在MapperReduce Driver 里填...
分类：
其他好文 时间：
2015-08-10 22:20:48
阅读次数：
126
Storm是什么：如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据googlemapreduce来实现的hadoop为我们提供了map,reduce原语，使我们的批处理程序变得非常地简单..
分类：
其他好文 时间：
2015-08-10 20:20:52
阅读次数：
202
原始链接：https://www.zybuluo.com/jewes/note/35032RDD是什么？A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable(不可改...
......................................lap: $(CC) $(INC_DIR) $(FFLAGS) -c com4lap.credu: $(F90) $(FFLAGS) -o reduce.e reduce.f $(INC_DIR) $(MPI_INC_DIR...
分类：
其他好文 时间：
2015-08-07 21:50:23
阅读次数：
149
