Common Transformations and Actions 本章中，我们浏览了Spark中大多数常见的transformation（转换）和action（动作）。在包含特定数据类型的RDD上可以进行额外的操作，例如，可以对纯数字RDD使用统计函数，对键值对的RDD进 ...
分类：
其他好文 时间：
2018-02-24 15:04:15
阅读次数：
242
1：什么是Spark的RDD？？？ 2：RDD的属性： 3：创建RDD： 4：RDD编程API： 4.1：Transformation： RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结 ...
分类：
其他好文 时间：
2018-02-23 20:43:22
阅读次数：
389
本章介绍了Spark用于数据处理的核心抽象概念，具有弹性的分布式数据集(RDD)。一个RDD仅仅是一个分布式的元素集合。在Spark中，所有工作都表示为创建新的RDDs、转换现有的RDDs，或者调用RDDs上的操作来计算结果。在底层，Spark自动将数据中包含的数据分发到你 ...
分类：
其他好文 时间：
2018-02-22 21:35:41
阅读次数：
208
3.5 常见的转化操作和行动操作 3.5.1 基本RDD 1. 针对各个元素的转化操作 两个最常用的转化操作是map()和filter()。转化操作map()接受一个函数，把这个函数用于RDD中的每个元素，将函数的返回结果作为结果RDD中对应元素的值。而转化操作filter()则接收一个函数，并将R ...
分类：
其他好文 时间：
2017-10-20 13:33:06
阅读次数：
223
弹性分布式数据集（简称RDD）是Spark对数据的核心抽象。RDD其实就是分布式的元素集合。在Spark中，对数据的操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。而在这一切背后，Spark会自动将RDD中的数据分发到集群上，并将操作并行化执行。 3.1 RDD基础 Spark中的R ...
分类：
其他好文 时间：
2017-10-18 18:28:46
阅读次数：
218
环境： Unbunt 12.04 Hadoop 2.2.x Sprak 0.9 Scala scala-2.9.0.final.tgz 步骤 1. 下载 scala 2. 解压scala，然后改动/etc/profile，加入例如以下 export SCALA_HOME=/home/software ...
分类：
系统相关 时间：
2017-07-22 21:15:13
阅读次数：
393
Spark安装包：概述 与Hadoop打包在一起的安装包（我用的是这个） 比如：spark-2.1.0-bin-hadoop2.7.tgz，spark版本为2.1.0，与hadoop 2.7.0集成独立安装包 spark-2.1.0-bin-without-hadoop.tgz ...
分类：
其他好文 时间：
2017-06-18 18:11:08
阅读次数：
151
本节内容： · Spark转换 RDD操作实例 · Spark行动 RDD操作实例 · 参考资料 关于学习编程方式的，每个人都有自己的方式。对我个人来说，最好的方法还是多动手写demo，要多写代码，才能理解的更加深刻，本节以例子的形式讲解各个Spark RDD的使用方法和注意事项，本文一共讲解了20 ...
分类：
系统相关 时间：
2017-05-06 01:05:37
阅读次数：
227
本节内容 1.RDD的工作流程 2.WordCount解说 · shell版本WordCount · java版本WordCount 一、RDD工作流程 1. RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图，本文暂时不去展开这些高深概念，在阅读本文时候，大家 ...
分类：
其他好文 时间：
2017-05-06 00:54:23
阅读次数：
208
1.RDD基础 弹性分布式数据集，简称RDD，是一个不可变的分布式对象集合。在Spark中，对数据的所有操作不外乎创建RDD，转化已有RDD以及调用RDD操作进行求值。 每一个RDD都被分为多个分区，这些分区运行在集群中的不同节点上，RDD可以包含Python，Java，Scala中任意类型的对象， ...
分类：
其他好文 时间：
2017-01-23 23:50:39
阅读次数：
456
