并行处理：可以在很多语句中指定reducer的数量group,join,cogroup,cross,distinct,order(复习：reduce的任务个数设置为稍小于集群中的reduce任务槽数)参数替换：在pig语句中使用$加变量名的方式使用外部定义的变量值，在运行时可以通过"-paraminput=”设置变量的值，或者通过"-..
分类：
其他好文 时间：
2015-05-26 19:07:21
阅读次数：
142
并行处理： 可以在很多语句中指定reducer的数量
group, join, cogroup, cross, distinct, order
(复习：reduce的任务个数设置为稍小于集群中的reduce任务槽数)
参数替换：在pig语句中使用$加变量名的方式使用外部定义的变量值，在运行时可以通过"-param input=”设置变量的值，
或者通过"-param_f...
分类：
其他好文 时间：
2015-05-26 18:56:02
阅读次数：
123
我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任..
分类：
其他好文 时间：
2015-05-26 16:31:53
阅读次数：
143
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和...
分类：
其他好文 时间：
2015-05-26 12:47:45
阅读次数：
146
【bzoj1345】[Baltic2007]序列问题Sequence2014年3月23日4512Description对于一个给定的序列a1, …, an，我们对它进行一个操作reduce(i)，该操作将数列中的元素ai和ai+1用一个元素max(ai，ai+1)替代，这样得到一个比原来序列短的新序...
分类：
其他好文 时间：
2015-05-25 20:11:18
阅读次数：
195
Lambda操作 —— 有些人喜欢，有些人讨厌，还有很多人害怕。当你看完了我们这章的介绍后，我们很自信你会喜欢上它。要不然，你可以去学习Guido van Rossums更喜欢去用的“list comprehensions”（递推式构造列表）了，因为他也不喜欢Lambda, map filter 和...
分类：
编程语言 时间：
2015-05-25 00:57:33
阅读次数：
279
MapReduce概述
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.
MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。
这两个函数的形参是key、value对，表示函数的输入信息。
MR执行流程
MapReduce原理...
分类：
其他好文 时间：
2015-05-24 23:38:32
阅读次数：
396
MapReduce近几年比较热的分布式计算编程模型，以C#为例简单介绍下MapReduce分布式计算。阅读目录背景 Map实现 Reduce实现支持分布式总结背景某平行世界程序猿小张接到Boss一项任务，统计用户反馈内容中的单词出现次数，以便分析用户主要习惯。文本如下： const s...
概述
distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用distcp操作提供指南并阐述它的工作模型。
基本使用方...
分类：
其他好文 时间：
2015-05-20 14:48:33
阅读次数：
132
官网是这么说的：The first way to reduce memory consumption is to avoid the Java features that add overhead, such as pointer-based data structures and wrapper ...
分类：
其他好文 时间：
2015-05-19 20:29:33
阅读次数：
146
