具有选择性（适合sum，max，不适合avg） 1.做优化：前提是不影响最终结果； a.实现map端到reduce端减少数据网络传输（网络IO） b.减少map Task数据输出（磁盘IO） 2.combine其实是Reduce，combine的输出作为reduce的输入 3.疑问：添加combin ...
分类：
其他好文 时间：
2018-07-28 13:52:11
阅读次数：
157
combiner相当于是一个本地的reduce，它的存在是为了减少网络的负担，在本地先进行一次计算再叫计算结果提交给reduce进行二次处理。 现在的流程为： 对于combiner我们有这些理解： ...
分类：
其他好文 时间：
2018-07-24 18:03:21
阅读次数：
187
Median and standard deviation 中值和标准差的计算比前面的例子复杂一点。因为这种运算是非关联的，它们不是那么容易的能从combiner中获益。中值是将数据集一分为两等份的数值类型，一份比中值大，一部分比中值小。这需要数据集按顺序完成清洗。数据必须是排序的，但存在一定障碍， ...
分类：
其他好文 时间：
2018-06-19 16:29:41
阅读次数：
182
这里记录pyspark的执行逻辑图 代码版本为 spark 2.2.0 1.执行逻辑 这里简述一下代码调用流程 1. 用户通过spark submit提交python代码,spark submit检测到此次提交任务类型是python类型则会设置mainClass为PythonRunner 2. Py ...
分类：
其他好文 时间：
2018-05-16 16:31:20
阅读次数：
234
对combiner的理解 combiner其实属于优化方案，由于带宽限制，应该尽量map和reduce之间的数据传输数量。它在Map端把同一个key的键值对合并在一起并计算，计算规则与reduce一致，所以combiner也可以看作特殊的Reducer。 执行combiner操作要求开发者必须在程序 ...
分类：
其他好文 时间：
2018-03-21 13:47:08
阅读次数：
171
下图是演示了Combiner的好处 因为我们知道Hadoop的好处在于集群中有很多小的机器，组成了一个庞大的集群，把一个大的计算任务后者说复杂的计算过程分发到了一个个小的机器上面。但是这个集群一个致命或者是不好的就是大部分会花在磁盘IO上面，如果我们把这部分时间节省了，也就加快了MR的速度，因为Ma ...
分类：
其他好文 时间：
2018-03-17 18:49:26
阅读次数：
155
这篇文章将会示范如何使用NgRx/Store 4和Angular5。 是基于RxJS的状态管理库，其灵感来源于Redux。在NgRx中，状态是由一个包含action和reducer的函数的映射组成的。Reducer函数经由action的分发以及当前或初始的状态而被调用，最后由reducer返回一个不 ...
分类：
其他好文 时间：
2018-03-11 00:10:04
阅读次数：
476
对于一些页面较多、功能复杂，组件之间交互频繁且结构复杂的App，通过修改state的方式重新渲染页面,就会出现卡到爆炸的效果，这时就要使用redux了。 下面,我们来看一下使用了redux的APP结构,下面是我按照我的理解画了一张图,多出来右边三个部分,原来container外层多了一个Provid ...
分类：
其他好文 时间：
2018-03-08 17:32:00
阅读次数：
287
createStore用来生成Store，fn形式为(state, action) => state的纯函数，返回新的state而不是修改的 Store对象包含所有数据，state就是Store在某个时刻的数据快照，当前时刻的state可以用store.getState()获取 改变内部 state ...
分类：
其他好文 时间：
2018-02-05 18:35:20
阅读次数：
164
1/mr的combiner 2/mr的排序 3/mr的shuffle 4/mr与yarn 5/mr运行模式 6/mr实现join 7/mr全局图 8/mr的压缩 一、 ...
分类：
其他好文 时间：
2018-02-02 11:34:55
阅读次数：
105
