spark总结

标签：str   font   count   pre   参数   sha   dev   hadoop   默认   

算子总结

　　1.变换操作,包括过滤，变换，去重，排序,分区操作

　　　　filter过滤操作，无法触发重新分区

　　　　map,flatMap,flatMapValues,mapValues,mapPartitions,mapPartitionsWithIndex, mapPartitionsWithSplit,zip, zipWithIndex, zipWithUniqueId，reduceByKey

　　　　　　变换操作，默认不触发分区，如果希望重新分区可以第二个参数preservesPartitioning传True，map是一对一变换，flatMap是一对多变换

　　　　distinct 去重操作，默认不触发分区，如果希望重新分区可以第二个参数preservesPartitioning传True

　　　　sortBy,sortByKey 排序操作，必须变换分区，可以指定变换后的分区数

　　　　glom,coalesce,partitionBy,repartition 分区操作，coalesce重新分区，第二个参数指定是否shuffle，如果不shuffle，只是分区的简单合并。

　　2.rdd操作，包括合并，连接，分组，交并补，差集

　　　　join,fullOuterJoin,leftOuterJoin,rightOuterJoin 内连接，外连接 可以通过第二个参数指定分区个数

　　　　groupBy，groupByKey,groupWith 分组操作，可以通过第二个参数指定分区个数，第三个参数指定分区方式

　　　　intersection,subtract,subtractKey,union 交，差，并

　　3.操作，包括取数据，计算，和保存

　　　　take，sample，takeSample，top,head,first 读取数据

　　　　reduce,sum,stdev,sumApprox,variance,aggregate,fold，count 计算操作，count统计个数，sum求和，stdev 均值，variance方差 reduce，aggregate，fold都是自定义计算，fold相当于带有初值的reduce，aggregate不仅带初值，且结果和rdd元素类型不一致

　　　　saveAsTextFile,saveAsHadoopFile,saveAsSequenceFile,saveAsNewAPIHadoopFile 保存文件到本地或hadoop-fs中

python语法拾遗

　　>>> 2 if len(list)>1 else 3

　　2

　　python没有三目运算符，以上和三目运算符效果相同

　　>>> list = [1,2,3,4]

　　>>> [i*10 for i in list]

　　[10, 20, 30, 40]

　　集合的map操作

spark总结

标签：str   font   count   pre   参数   sha   dev   hadoop   默认   

原文地址：https://www.cnblogs.com/yangyang12138/p/10715977.html