什么是Spark（四）运算过程中的黑科技

时间：2018-04-14 23:55:29 阅读：353 评论：0 收藏：0 [点我收藏+]

Spark在运算过程中提供了一套完整的机制用来提高效率。

1. 用于收集信息的Accumulator，自带增量，用于spark全局收集数据；共享数据；

2. 用于提高传输速率的broadcast机制；如果需要将已知大对象比如上万条的List，这些多大几十M甚至更大对象如果传统作为Map对象的方式下放到各个节点无疑增大了网络压力，可以采用broadcast的方式来进行对象传输；broadcast采用的是BT机制使得对象在网络中只是传输一次便实现了能够在各个节点中实现互传。

3. mapPartition；如果是Map是遍历每个元素；但是有些操作其实在每个节点只需要做一次即可，这个时候就可以使用RDD的mapPartition算子，里面的函数是在分区级别进行处理的；在分区里面可以通过while（partition.next）来遍历该分区里面的元素

4. Spark提供了多语言的交互，这里包括跟脚本，R语言，在运算过程中可以实现更加丰富的功能；

5. Spark提供了大量的数学公式，提高实现运算的效率。

什么是Spark（四）运算过程中的黑科技

标签：元素操作使用 pre 自带 wrap art 方式 ppa

原文地址：https://www.cnblogs.com/xiashiwendao/p/8835384.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行