一、spark的三种提交模式 1、第一种，Spark内核架构，即standalone模式，基于Spark自己的Master-Worker集群。 2、第二种，基于YARN的yarn-cluster模式。 3、第三种，基于YARN的yarn-client模式。 如果，你要切换到第二种和第三种模式，在提交 ...
分类：
其他好文 时间：
2018-08-21 15:09:19
阅读次数：
309
一： Spark内核架构 1，Drive是运行程序的时候有main方法，并且会创建SparkContext对象，是程序运行调度的中心，向Master注册程序，然后Master分配资源。 应用程序： Application = Driver（驱动程序） + Executor（执行程序） Driver部 ...
分类：
其他好文 时间：
2018-05-11 13:06:27
阅读次数：
158
提交Spark程序的机器一般一定和Spark集群在同样的网络环境中（Driver频繁和Executors通信），且其配置和普通的Worker一致 1. Driver： 具有main方法的，初始化 SparkContext 的程序。Driver运行在提交Spark任务的机器上。 Driver 部分的代 ...
分类：
其他好文 时间：
2017-12-14 20:58:04
阅读次数：
106
Spark HA的配置网上很多，最近我在看王林的Spark的视频，要付费的。那个人牛B吹得很大，本事应该是有的，但是有本事，不一定就是好老师。一开始吹中国第一，吹着吹着就变成世界第一。就算你真的是世界第一，视频（2.Spark内核解密(11-43讲全)中的第12课）里关于spark.deploy.z ...
分类：
Web程序 时间：
2017-11-11 15:58:16
阅读次数：
167
本课主题 打通 Spark 系统运行内幕机制循环流程 引言 通过 DAGScheduelr 面向整个 Job，然后划分成不同的 Stage，Stage 是從后往前划分的，执行的时候是從前往后执行的，每个 Stage 内部有一系列任務，前面有分享過，任务是并行计算啦，这是并行计算的逻辑是完全相同的，只 ...
分类：
其他好文 时间：
2017-03-02 00:24:10
阅读次数：
251
Spark SQL在Spark内核基础上提供了对结构化数据的处理，在Spark1.3版本中，Spark SQL不仅可以作为分布式的SQL查询引擎，还引入了新的DataFrame编程模型。 在Spark1.3版本中，Spark SQL不再是Alpha版本，除了提供更好的SQL标准兼容之外，还引进了新的 ...
分类：
数据库 时间：
2016-12-03 12:19:32
阅读次数：
231
SparkContext创建：高层DAGScheduler, 底层TaskScheduler, SchedulerBackend
application=driver+executor
Spark的程序分成两个部分：driver和executor
driver驱动executor
Driver部分的源代码：SparkConf+SparkContext
executor具体执行...
分类：
其他好文 时间：
2016-05-12 12:43:38
阅读次数：
172
LINUX系统下Java和Scala的环境配置 最近，笔者在研究一个有关“自然语言处理”的项目，在这个项目中，需要我们用Spark进行编程。而Spark内核是由Scala语言开发的，所以在使用Spark之前，我们必须配置好Scala，而Scala又是运行在JVM上的，所以在配置Scala之前，先要配 ...
分类：
编程语言 时间：
2016-05-06 20:30:45
阅读次数：
227
本期主要介绍下spark的内核架构。spark的应用程序总体来说，主要包括两部分，一部分是Driver,其包括了SparkConf和SparkContext，另一部分就是Executor，运行具体的业务逻辑。应用程序的提交有两种方式，1、Driver进程运行在客户端，对应用程序进行监控。2、主节点指定某个worke..
分类：
其他好文 时间：
2016-05-03 00:44:01
阅读次数：
142
本课程主要讲解目前大数据领域最热门、最火爆、最有前景的技术——Spark。在本课程中，会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、 ...
分类：
其他好文 时间：
2016-04-12 07:05:51
阅读次数：
480
