1. 对于每个元素进行处理,可以使用foreach算子,但是不能修改元素
2. 调整partition数量:repartition和coalesce
3. mapToPair 会shuffle
4. 集合类操作:并集(union),交集(intersection),差集(subtract)
5. 两种过滤:
filter:直接对某个元素布尔判断
leftoutjoin:一个rdd用另一个rdd来 然后 根据null来判断
标签:blog cti coalesce each apt 处理 直接 另一个 intersect
1. 对于每个元素进行处理,可以使用foreach算子,但是不能修改元素
2. 调整partition数量:repartition和coalesce
3. mapToPair 会shuffle
4. 集合类操作:并集(union),交集(intersection),差集(subtract)
5. 两种过滤:
filter:直接对某个元素布尔判断
leftoutjoin:一个rdd用另一个rdd来 然后 根据null来判断
标签:blog cti coalesce each apt 处理 直接 另一个 intersect
原文地址:https://www.cnblogs.com/brainstorm/p/8110920.html