在spark中很多时候我们常常以为一个文件是会被完整读入到内存，然后做各种变换。其实并不是这样的，除非你主动对RDD进行Cache/Persist缓存操作。 举一个简单的例子： sc.textfile("test.txt").map().saveasTextfile(); 使用sc.textfile ...
分类：
其他好文 时间：
2018-06-09 23:20:56
阅读次数：
841
Spark程序中一个Job的触发是通过一个Action算子，比如count(),saveAsTextFile()等在这次Spark优化测试中，从Hive中读取数据，将其另外保存四份，其中两个Job采用串行方式，另外两个Job采用并行方式。将任务提交到Yarn中执行。能够明显看出串行与兵线处理的性能。每个Job执行时..
分类：
其他好文 时间：
2017-08-30 20:08:47
阅读次数：
349
思考：在spark的wordcount过程一共产生多少个RDD？ 通过该命令（scala> rdd.toDebugString）可以查看RDD的依赖关系 （6个，除了图中的五个，rdd.saveAsTextFile也还会产生一个RDD） 接下来一步步分析（通过查看spark源码进行分析） (1) s ...
分类：
其他好文 时间：
2017-08-24 21:18:21
阅读次数：
660
1、reduce：2、collect：3、count：4、take：5、saveAsTextFile：6、countByKey：7、foreach：package sparkcore.java;import java.util.Arrays;import java.util.List;import ... ...
分类：
其他好文 时间：
2017-07-31 13:27:02
阅读次数：
169
ation算子通过sparkContext执行提交作业的runJob，触发rdd的DAG执行 （foreach） foreach（f） 会对rdd中的每个函数进行f操作，下面的f操作就是打印输出没有元素 saveAsTextFile foreach（f） 会对rdd中的每个函数进行f操作，下面的f操 ...
分类：
其他好文 时间：
2017-03-23 20:10:07
阅读次数：
149
一、常用Actoin算子 (reduce 、collect 、count 、take 、saveAsTextFile 、 countByKey 、foreach ) collect：从集群中将所有的计算结果获取到本地内存，然后展示 take：从集群中将一部分的计算结果获取到本地内存，然后展示 rdd ...
分类：
其他好文 时间：
2017-03-23 14:40:27
阅读次数：
163
我们来看看这段程序，首先创建了一个叫做blankLines的Accumulator[Int]对象，然后在输入中看到空行就+1，执行完转化操作后就打印出累加器中的值。注意：只有在执行完saveAsTextFile()这个action操作后才能看到正确的计数，flatMap()是transformati ...
分类：
其他好文 时间：
2016-07-30 21:11:16
阅读次数：
111
RDD的saveAsTextFile方法会首先生成一个MapPartitionsRDD，该RDD通过雕工PairRDDFunctions的saveAsHadoopDataset方法向HDFS等输出RDD数据的内容，并在在最后调用SparkContext的runJob来真正的向Spark集群提交计算任务。
分类：
其他好文 时间：
2015-12-16 12:49:12
阅读次数：
126
1.文本文件(1)读取文本文件JavaRDD input =sc.textFile(dir)(2)保存文本文件result.saveAsTextFile(dir);2.Json （1）gson①Gson中需要创建JavaBean实体类来说明json的格式。以下是javaBean的示例程序，Perso...
分类：
其他好文 时间：
2015-11-30 20:00:20
阅读次数：
502
一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？答案自然是有办法。 在RDD上调用coalesc...
分类：
其他好文 时间：
2015-07-29 12:03:33
阅读次数：
175
