码迷,mamicode.com
首页 > 其他好文 > 详细

Chapter 4. Working with Key/Value Pairs

时间:2016-11-30 20:08:36      阅读:148      评论:0      收藏:0      [点我收藏+]

标签:type   transform   键值   work   pager   form   数据   page   pairs   

Chapter4 working with key/value pairs

key/values pairs键值对是Spark中非常常见的一种数据类型(type),RDD有时经常操作键值对数据类型。第四章的第一部分内容就是介绍有关键值对的ETL操作:extract,transform,load。第二部分内容介绍的是Spark中的一种高级特征,分布在多个节点nodespairs RDD布局layout:partioning,即分区。使用可控制的分区,可以降低节点间的通信成本,可以是spark的计算速度,这里使用的实例算法就是PageRank。

一、Creating Pair RDDs

 

Chapter 4. Working with Key/Value Pairs

标签:type   transform   键值   work   pager   form   数据   page   pairs   

原文地址:http://www.cnblogs.com/OliverZhang/p/6119320.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!