Common Join 最为普通的join策略，不受数据量的大小影响，也可以叫做reduce side join ,最没效率的一种join 方式. 它由一个mapreduce job 完成. 首先将大表和小表分别进行map 操作, 在map shuffle 的阶段每一个m...
分类：
其他好文 时间：
2015-03-18 16:10:56
阅读次数：
185
1.取map中的所有key如：Set keySet = map.keySet();//把map中的所有key放入set中，然后遍历set: Iterator it = keySet.iterator(); while(it.hasNext()){ String str = it.h...
分类：
编程语言 时间：
2015-03-06 16:47:01
阅读次数：
162
首先以spark的本地模式测试spark API，以local的方式运行spark-shell： 先从parallelize入手吧： map操作后结果： 下面看下 filter操作： filter执行结果： 我们用最正宗的scala函数式编程的风格： 执行结果： 从...
SICP 习题 2.21 开始引入了map，准确来讲，是这道题目前的文章内容开始引入了map。为了完成本习题，甚至说为了完成本文以后的阅读，请读者一定要理解清楚map的概念，正如书中所说，“map是一种很重要的结构，不仅因为它代表了一种公共模式，而且因为它建立起了一种处理表的高层抽象”。虽然说得非常高大上，但是map的概念理解起来并不困难，最基本的理解就是给你一组东西，你对这组东西执行map操作的...
分类：
其他好文 时间：
2015-01-10 21:04:37
阅读次数：
210
前言：在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。 ?1.如何控制实际运行的map任务个数 ?我...
分类：
其他好文 时间：
2014-12-05 17:38:14
阅读次数：
163
上篇我刚刚学习完，Spilt的过程，还算比较简单的了，接下来学习的就是Map操作的过程了，Map和Reduce一样，是整个MapReduce的重要内容，所以，这一篇，我会好好的讲讲里面的内部实现过程。首先要说，MapTask，分为4种，可能这一点上有人就可能知道了，分别是Job-setup Task，Job-cleanup Task，Task-cleanup和Map Task。前面3个都是辅助性质...
分类：
其他好文 时间：
2014-11-15 11:33:03
阅读次数：
307
接上篇3.Combiner操作前面讲完Map操作，总结一下就是：一个大文件，分成split1~5，对应于Map1~5，每一个Map处理一个split，每一个split的每一行，会用每一个Map的map方法去处理，经过上面操作，最终输出了5个中间结果。对于这5个中间结果的每一个来说，都有很多行，每一行...
分类：
其他好文 时间：
2014-10-19 18:28:49
阅读次数：
186
Arcgis for javascript map操作addLayer详解...
分类：
编程语言 时间：
2014-10-17 18:50:33
阅读次数：
1135
一、Spark与Hadoop的关系 Spark和Hadoop只是共用了底层的MapReduce编程模型，即它们均是基于MapReduce思想所开发的分布式数据处理系统。 Hadoop采用MapReduce和HDFS技术，其MapReduce计算模型核心即Map操作和Reduce操作，在这个计算模.....
分类：
其他好文 时间：
2014-09-10 19:12:50
阅读次数：
311
1、HashMap简介
HashMap提供所有可选的Map操作，并允许使用 null 值和 null 键,，是线程不安全的。（除了非同步和允许使用 null 之外，HashMap 类与 Hashtable 大致相同。）此类不保证映射的顺序，特别是它不保证该顺序恒久不变。
HashMap的实例有两个参数影响其性能：初始容量 和加载因子。容量 是哈希表中桶的数量，初始容量只是哈希表在创...
分类：
其他好文 时间：
2014-09-06 23:53:04
阅读次数：
684
