标签:ide create null logs value 数据 入口 key 细节
1、Spark基于内存进行运算
2、Spark核心是SprintContext,是程序的入口
3、RDDs是提供抽象的数据集,通过RDDS可以方便对分布在各个节点的数据进行计算,而且忽略细节
4、RDDs与Stream API
5、RDDs采用类似延时加载,计算功能
6、RDDs的combineByKey函数是一个较核心的函数:如下
def combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C, partitioner: Partitioner, mapSideCombine: Boolean = true, serializer: Serializer = null)
标签:ide create null logs value 数据 入口 key 细节
原文地址:http://www.cnblogs.com/m2492565210/p/7149879.html