码迷,mamicode.com
首页 > 其他好文 > 详细

SPARK 入门笔记

时间:2017-07-11 12:17:41      阅读:210      评论:0      收藏:0      [点我收藏+]

标签:ide   create   null   logs   value   数据   入口   key   细节   

1、Spark基于内存进行运算

2、Spark核心是SprintContext,是程序的入口

3、RDDs是提供抽象的数据集,通过RDDS可以方便对分布在各个节点的数据进行计算,而且忽略细节

4、RDDs与Stream API

5、RDDs采用类似延时加载,计算功能

6、RDDs的combineByKey函数是一个较核心的函数:如下

def combineByKey[C](  
      createCombiner: V => C,  
      mergeValue: (C, V) => C,  
      mergeCombiners: (C, C) => C,  
      partitioner: Partitioner,  
      mapSideCombine: Boolean = true,  
      serializer: Serializer = null)  

 

SPARK 入门笔记

标签:ide   create   null   logs   value   数据   入口   key   细节   

原文地址:http://www.cnblogs.com/m2492565210/p/7149879.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!