码迷,mamicode.com
首页 > 2019年03月12日 > 全部分享
【Spark调优】:如果实在要shuffle,使用map侧预聚合的算子
因业务上的需要,无可避免的一些运算一定要使用shuffle操作,无法用map类的算子来替代,那么尽量使用可以map侧预聚合的算子。 map侧预聚合,是指在每个节点本地对相同的key进行一次聚合操作,类似于MapReduce中的本地combine。map-side预聚合之后,每个节点本地就只会有一条相 ...
分类:其他好文   时间:2019-03-12 09:12:48    阅读次数:259
630条   上一页 1 ... 35 36 37 38
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!