package com.atguigu.bigdata.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: ...
分类：
其他好文 时间：
2020-04-19 18:04:25
阅读次数：
66
Spark官方自带了WordCount的样例，我们也可以自己实现，加深对Spark的理解。 import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit ...
分类：
其他好文 时间：
2020-03-08 13:44:44
阅读次数：
65
1，栈溢出问题，主要原因：每个RDD会存储他的祖先，以便发生错误的时候，能够利用这种关系再次生成。算法类的spark程序，因为会迭代很多次，这种关系会变得很巨大，引发栈溢出问题 * 设置检查点 val sc = new SparkContext(conf) sc.setCheckpointDir(" ...
分类：
编程语言 时间：
2020-02-28 18:55:18
阅读次数：
60
package com.gong import org.apache.spark.{SparkConf, SparkContext} object MyScalaWorldCount { def main(args: Array[String]): Unit = { //参数检测 if(args.l ...
分类：
其他好文 时间：
2020-02-18 18:56:10
阅读次数：
75
import org.apache.spark.{SparkConf, SparkContext} import scala.util.parsing.json.JSON object JSONParse { def main(args: Array[String]): Unit = { val i ...
分类：
Web程序 时间：
2020-02-17 00:45:38
阅读次数：
120
（1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf = ...
分类：
其他好文 时间：
2020-02-14 20:35:56
阅读次数：
246
今天完成了实验任务四-RDD编程初级实践，先在网上查了一下资料。 Spark大数据处理的核心是RDD,RDD的全称为弹性分布式数据集，对数据的操作主要涉及RDD的创建、转换以及行动等操作，在Spark系列(二)中主要介绍了RDD根据SparkContext的textFile创建RDD的方法，本小节将 ...
分类：
其他好文 时间：
2020-02-06 14:52:42
阅读次数：
65
SparkContext是编写Spark程序用到的第一个类，是Spark的主要入口点，用于连接Spark集群、创建RDD、累加器和广播变量，是Spark程序的根本。编写不同类型的Spark程序，使用的SparkContext是不同的Scala 使用SparkContextJava 使用JavaSpa ...
分类：
其他好文 时间：
2020-02-01 21:42:00
阅读次数：
73
Spark运行基本流程 （1）当一个 Spark Application 被提交时，首先需要为这个应用构建起基本的运行环境， 即由 Driver 创建一个 SparkContext进行资源的申请、任务的分配和监控。 SparkContext 会向资源管理器注册并申 请运行 Executor 的资源； ...
分类：
其他好文 时间：
2020-02-01 19:30:14
阅读次数：
62
Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Ex ...
分类：
其他好文 时间：
2020-01-26 19:15:00
阅读次数：
66
