在spark启动之后，worker和master注册通信之后，在进入用户提交app中，new SparkContext之后就会在worker上分配exectors了。 首先在sparkContext中，会先创建和启动TaskScheduler和DAGSchedule 在创建TaskScheduler ...
分类：
其他好文 时间：
2018-08-17 20:56:22
阅读次数：
210
创建实验数据: from pyspark import SparkContext import random OutputFile = "file:///usr/local/spark/mycode/exercise/people" sc = SparkContext('local','create ...
分类：
其他好文 时间：
2018-08-14 14:49:52
阅读次数：
192
Application: Application是创建了SparkContext实例对象的Spark用户，包含了Driver程序, Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个SparkContext对象，其名称为sc,也就是说只要创建一个SparkCont ...
分类：
其他好文 时间：
2018-07-20 13:58:42
阅读次数：
159
6.创建和启动DAGScheduler DAGScheduler主要用于在任务正式交给TaskSchedulerImpl提交之前做一些准备工作，包括：创建Job，将DAG中的RDD划分到不同的Stage，提交Stage，等等。创建DAGScheduler的代码如下： DAGScheduler的数据结 ...
分类：
其他好文 时间：
2018-07-15 23:21:58
阅读次数：
193
5. 创建任务调度器TaskScheduler TaskScheduler也是SparkContext的重要组成部分，负责任务的提交，并且请求集群管理器对任务调度。TaskScheduler也可以看作任务调度的客户端。创建TaskScheduler的代码如下： createTaskScheduler ...
分类：
其他好文 时间：
2018-07-15 23:21:25
阅读次数：
178
4. Hadoop相关配置及Executor环境变量的设置 4.1 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下： 获取的配置信息包括： 将Amazon S3文件系统的AccessKeyId和SecretAccessK ...
分类：
其他好文 时间：
2018-07-15 23:13:01
阅读次数：
233
第五节介绍了TaskScheduler的创建，要想TaskScheduler发挥作用，必须要启动它，代码： TaskScheduler在启动的时候，实际调用了backend的start方法，即同时启动了backend。local模式下，这里的backend是localSchedulerBackend ...
分类：
其他好文 时间：
2018-07-15 22:13:31
阅读次数：
154
18/06/24 16:41:40 ERROR spark.SparkContext: Error initializing SparkContext.java.net.BindException: Cannot assign requested address: Service 'sparkDri ...
分类：
系统相关 时间：
2018-06-24 18:03:49
阅读次数：
758
1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-va ...
分类：
其他好文 时间：
2018-06-15 23:34:12
阅读次数：
434
word count 注意spark的套路： 1. 创建配置配置，创建sparkcontext； 2. 获取数据源； 3. flatmap进行元素独立； 4. filter进行过滤； 5. map封装为元组； 6. reduce进行计数； 按照数量排序 你可以采用一条龙的方式来进行上述实现，感觉那是 ...
分类：
其他好文 时间：
2018-06-08 14:07:34
阅读次数：
146
