2月9日学习记录

标签：nump   因此   行操作   简化   tac   art   聚合   UNC   针对   

1，背诵单词：obstacle：障碍物  gum：口香糖  fridge：电冰箱  combination：结合  fasten：系牢  purchase：购买  leak：漏出  inhabitant：居民  express：快递  conceal：隐瞒   digest：消化  beggar：乞丐  apology：道歉认错  suspicion：怀疑  aid：帮助  yield：投降  dew：水珠  transmit：传输  stable：稳定的  spot：点

2，做spark实验4，回顾了之前学习的RDD操作等

map(func)

 作用：返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成

 mapPartitions(func) 

 作用：类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T] => Iterator[U]。假设有N个元素，有M个分区，那么map的函数的将被调用N次,而mapPartitions被调用M次,一个函数一次处理所有分区。

 mapPartitionsWithIndex(func) 

 作用：类似于mapPartitions，但func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int, Interator[T]) => Iterator[U]；

flatMap(func) 

 作用：类似于map，但是每一个输入元素可以被映射为0或多个输出元素（所以func应该返回一个序列，而不是单一元素）

 map()和mapPartition()的区别

1. map()：每次处理一条数据。

2. mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原RDD中分区的数据才能释放，可能导致OOM。

3. 开发指导：当内存空间较大的时候建议使用mapPartition()，以提高处理效率。

glom

 作用：将每一个分区形成一个数组，形成新的RDD类型时RDD[Array[T]]

groupBy(func)

作用：分组，按照传入函数的返回值进行分组。将相同的key对应的值放入一个迭代器。

filter(func) 

 作用：过滤。返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成。

sample(withReplacement, fraction, seed) 

 作用：以指定的随机种子随机抽样出数量为fraction的数据，withReplacement表示是抽出的数据是否放回，true为有放回的抽样，false为无放回的抽样，seed用于指定随机数生成器种子。

 distinct([numTasks])) 

 作用：对源RDD进行去重后返回一个新的RDD。默认情况下，只有8个并行任务来操作，但是可以传入一个可选的numTasks参数改变它。

coalesce(numPartitions) 

 作用：缩减分区数，用于大数据集过滤后，提高小数据集的执行效率。

 repartition(numPartitions) 

 作用：根据分区数，重新通过网络随机洗牌所有数据。

coalesce和repartition的区别

 coalesce重新分区，可以选择是否进行shuffle过程。由参数shuffle: Boolean = false/true决定。

repartition实际上是调用的coalesce，默认是进行shuffle的。

 sortBy(func,[ascending], [numTasks]) 

 作用；使用func先对数据进行处理，按照处理后的数据比较结果排序，默认为正序。

 pipe(command, [envVars]) 

作用：管道，针对每个分区，都执行一个shell脚本，返回输出的RDD。

注意：脚本需要放在Worker节点可以访问到的位置

union(otherDataset) 

作用：对源RDD和参数RDD求并集后返回一个新的RDD

subtract (otherDataset) 

 作用：计算差的一种函数，去除两个RDD中相同的元素，不同的RDD将保留下来

 intersection(otherDataset) 

 作用：对源RDD和参数RDD求交集后返回一个新的RDD

 cartesian(otherDataset) 

 作用：笛卡尔积（尽量避免使用）

 zip(otherDataset)

作用：将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD的partition数量以及元素数量都相同，否则会抛出异常。

partitionBy

 作用：对pairRDD进行分区操作，如果原有的partionRDD和现有的partionRDD是一致的话就不进行分区， 否则会生成ShuffleRDD，即会产生shuffle过程。

 groupByKey

作用：groupByKey也是对每个key进行操作，但只生成一个sequence。

reduceByKey(func, [numTasks]) 

在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合到一起，reduce任务的个数可以通过第二个可选的参数来设置。

 reduceByKey和groupByKey的区别

1. reduceByKey：按照key进行聚合，在shuffle之前有combine（预聚合）操作，返回结果是RDD[k,v].

2. groupByKey：按照key进行分组，直接进行shuffle。

3. 开发指导：reduceByKey比groupByKey，建议使用。但是需要注意是否会影响业务逻辑。

aggregateByKey

参数：(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U)

1. 作用：在kv对的RDD中，，按key将value进行分组合并，合并时，将每个value和初始值作为seq函数的参数，进行计算，返回的结果作为一个新的kv对，然后再将结果按照key进行合并，最后将每个分组的value传递给combine函数进行计算（先将前两个value进行计算，将返回结果和下一个value传给combine函数，以此类推），将key与计算结果作为一个新的kv对输出。

2. 参数描述：

（1）zeroValue：给每一个分区中的每一个key一个初始值；

（2）seqOp：函数用于在每一个分区中用初始值逐步迭代value；

（3）combOp：函数用于合并每个分区中的结果。

oldByKey

参数：(zeroValue: V)(func: (V, V) => V): RDD[(K, V)]

作用：aggregateByKey的简化操作，seqop和combop相同

combineByKey[C] 

参数：(createCombiner: V => C,  mergeValue: (C, V) => C,  mergeCombiners: (C, C) => C)

作用：对相同K，把V合并成一个集合

参数描述：

（1）createCombiner: combineByKey() 会遍历分区中的所有元素，因此每个元素的键要么还没有遇到过，要么就和之前的某个元素的键相同。如果这是一个新的元素,combineByKey()会使用一个叫作createCombiner()的函数来创建那个键对应的累加器的初始值

（2）mergeValue: 如果这是一个在处理当前分区之前已经遇到的键，它会使用mergeValue()方法将该键的累加器对应的当前值与这个新的值进行合并

（3）mergeCombiners: 由于每个分区都是独立处理的， 因此对于同一个键可以有多个累加器。如果有两个或者更多的分区都有对应同一个键的累加器， 就需要使用用户提供的 mergeCombiners() 方法将各个分区的结果进行合并。

sortByKey([ascending], [numTasks]) 

 作用：在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一个按照key进行排序的(K,V)的RDD

 mapValues

针对于(K,V)形式的类型只对V进行操作

 join(otherDataset, [numTasks]) 

 作用：在类型为(K,V)和(K,W)的RDD上调用，返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD

 cogroup(otherDataset, [numTasks]) 

作用：在类型为(K,V)和(K,W)的RDD上调用，返回一个(K,(Iterable<V>,Iterable<W>))类型的RDD

3，遇到的问题：

4，明天计划：学习spark和做实验

2月9日学习记录

标签：nump   因此   行操作   简化   tac   art   聚合   UNC   针对   

原文地址：https://www.cnblogs.com/lq13035130506/p/12289296.html