Spark中生成的不同的RDD中有的喝用户的逻辑显式的对于，例如map操作会生成MapPartitionsRDD，而又的RDD则是Spark框架帮助我们隐式生成的，例如reduceByKey操作时候的ShuffledRDD.
分类：
其他好文 时间：
2015-12-16 12:49:23
阅读次数：
148
转自：http://blog.csdn.net/androidlushangderen/article/details/41142795上篇我刚刚学习完，Spilt的过程，还算比较简单的了，接下来学习的就是Map操作的过程了，Map和Reduce一样，是整个MapReduce的重要内容，所以，这一篇...
分类：
其他好文 时间：
2015-12-14 01:28:51
阅读次数：
290
在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。1.如何控制实际运行的map任务个数我们知道，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小..
分类：
其他好文 时间：
2015-12-10 09:32:17
阅读次数：
163
摘要通过input分片的大小来设置map的个数mapinputsplithadoop前言：在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。1.如何控制实际运行的map任务个数我们知...
分类：
其他好文 时间：
2015-11-02 23:07:24
阅读次数：
249
Spark作为一个新的分布式计算引擎正慢慢流行起来，越来越来的企业也准备用它的替换MapReduce,根据自己在工作的一些体会谈谈的优势。分布式计算归根到底还是一个Map和Reduce操作，Map操作对每个数据块进行计算，Reduce操作对结果进行汇总，现在一些NoSQL分布式数据库其实也是这么一套...
分类：
其他好文 时间：
2015-10-28 12:26:25
阅读次数：
254
Transformation处理的数据为Key-Value形式的算子大致可以分为：输入分区与输出分区一对一、聚集、连接操作。输入分区与输出分区一对一mapValuesmapValues：针对（Key，Value）型数据中的Value进行Map操作，而不对Key进行处理。
方框代表RDD分区。a=>a+2代表只对（ V1， 1）数据中的1进行加2操作，返回结果为3。源码： /**
* P...
分类：
其他好文 时间：
2015-07-12 00:20:08
阅读次数：
112
在第一篇blog中，我介绍了RxJava的一些基础知识，同时也介绍了map()操作符。当然如果你并没有意愿去使用RxJava我一点都不诧异，毕竟才接触了这么点。看完这篇blog，我相信你肯定想立即在你的项目中使用RxJava了，...
分类：
编程语言 时间：
2015-07-07 14:58:42
阅读次数：
389
HashMap主要分析key、value的放入Map和取出Map操作以及他的遍历器。个人觉得在HashMap中有个很重要的内部类Entry，Map的put，get等重要方法都是依靠这个Entry的。先来分析下这个内部类Entry，Entry中有几个重要的变量key、value、next，不用说大家....
分类：
其他好文 时间：
2015-06-17 23:18:02
阅读次数：
183
我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任..
分类：
其他好文 时间：
2015-05-26 16:31:53
阅读次数：
143
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和...
分类：
其他好文 时间：
2015-05-26 12:47:45
阅读次数：
146
