1、RDD是整个Spark的计算基石。是分布式数据的抽象，为用户屏蔽了底层复杂的计算和映射环境 RDD是不可变的，如果需要在一个RDD上进行转换操作，则会生成一个新的RDD RDD是分区的，RDD里面的具体数据是分布在多台机器上的Executor里面的。堆内内存和堆外内存 + 磁盘。 RDD是弹性的 ...
分类：
其他好文 时间：
2019-04-26 21:04:31
阅读次数：
154
进程和线程的区别是什么? 进程是执行着的应用程序,而线程是进程内部的一个执行序列.一个进程可以有多个线程.线程又叫做轻量级进程. 创建线程有几种方式? 有三种方式: 继承Thread类 实现Runnable接口 应用程序可以使用Executor框架来创建线程池 实现Runnable接口这种方式更受欢 ...
分类：
编程语言 时间：
2019-04-26 09:32:59
阅读次数：
158
blockManagerDriver和executor上分别都会启动blockManager，其中driver上拥有所有executor上的blockManager的引用；所有executor上的blockManager都持有driver上的blockManager的引用；blockManagerSlave会不断向blockManagerMaster发送心跳，更新block信息等；BlockMan
分类：
系统相关 时间：
2019-04-23 21:07:06
阅读次数：
234
Build label: 0.24.0 gcc version 5.4.0 build server: bazel build //src/main/java/build/buildfarm:buildfarm-server bazel-bin/src/main/java/build/buildfa ...
分类：
其他好文 时间：
2019-04-16 17:50:54
阅读次数：
236
Spark内部执行机制 1.1 内部执行流程 如下图1为分布式集群上spark应用程序的一般执行框架。主要由sparkcontext（spark上下文）、cluster manager(资源管理器)和?executor（单个节点的执行进程）。其中cluster manager负责整个集群的统一资源管 ...
分类：
其他好文 时间：
2019-04-13 10:30:43
阅读次数：
140
基础线程机制 Executor线程池框架 1.引入Executor的原因 （1）new Thread()的缺点 ? 每次new Thread() 耗费性能 ? 调用new Thread()创建的线程 缺乏管理 ，被称为野线程，而且可以 无限制的创建 ，之间 ...
分类：
编程语言 时间：
2019-04-11 11:57:01
阅读次数：
163
在之前我学习了java中的Thread 来实现多线程，今日我学习了ThreadGroup、Executor框架、ForkJoin框架。Executor 和ForkJoin都可以直接定义线程池，可以根据自己的需要自动增加线程多少，也可以自己设置固定的多少线程。 ForkJoin框架我大概认为的意思就是 ...
分类：
编程语言 时间：
2019-04-10 23:22:07
阅读次数：
188
一、Executor框架介绍 Executor框架将Java多线程程序分解成若干个任务，将这些任务分配给若干个线程来处理，并得到任务的结果 1.1、Executor框架组成 任务：被执行任务需要实现的接口：Runnable接口或Callable接口 任务的执行：任务执行的核心接口Executor以及 ...
分类：
编程语言 时间：
2019-04-07 10:13:06
阅读次数：
143
