一、简介 在每个节点（driver和executor）上运行的管理器，该接口提供用于在本地和远程将block放置和检索到各种存储（内存，磁盘和堆外）的接口。 二、源码 private[spark] class BlockManager( executorId: String, rpcEnv: Rpc ...
分类：
其他好文 时间：
2020-07-27 23:41:12
阅读次数：
73
CountDownLatch的使用 概念 countDownLatch这个类使一个线程等待其他线程各自执行完毕后再执行。 countDownLatch是通过一个计数器来实现的，计数器的初始值是线程的数量。每当一个线程执行完毕后，计数器的值就-1，当计数器的值为0时，表示所有线程都执行完毕，然后在闭锁 ...
分类：
编程语言 时间：
2020-07-24 10:00:07
阅读次数：
71
Executor 框架 2.1 简介 Executor 框架是 Java5 之后引进的，在 Java 5 之后，通过 Executor 来启动线程比使用 Thread 的 start 方法更好，除了更易管理，效率更好（用线程池实现，节约开销）外，还有关键的一点：有助于避免 this 逃逸问题。 补充 ...
分类：
编程语言 时间：
2020-07-21 23:06:44
阅读次数：
76
1、概述 Mybatis允许使用插件拦截的方法调用包括： Excetor ParameterHandler ResultHandler StatementHandler 上图是Mybatis框架的整体执行架构，Mybatis插件能够对四大对象接口进行拦截。 Executor ： Mybatis执行器 ...
分类：
其他好文 时间：
2020-07-21 21:45:27
阅读次数：
76
一.DStream的两类操作 DStream内部其实是RDD序列，所有的DStream操作最终都转换为RDD操作。通过分析源码，可以进一步窥探这种转换是如何进行的。 DStream有一些与RDD类似的基础属性： 依赖的其它DStream列表。 生成RDD的时间间隔。 一个名为compute的计算函数 ...
分类：
其他好文 时间：
2020-07-20 13:13:18
阅读次数：
64
Java高级工程师需要弄明白的20个知识点 1、对多线程的了解，尤其是对线程池的理解，对ThreadPoolExecutor构造参数各个作用的理解、了解Fxied Pool、Cached Pool分别的作用 2、对锁的了解，synchronized、Lock接口（及其对应的实现的理解） 3、对JDK ...
分类：
编程语言 时间：
2020-07-20 10:22:43
阅读次数：
69
上一篇安装了 xxl-job的服务端， https://www.cnblogs.com/a393060727/p/13306981.html 接下来是客户端安装。 还是照着官网来。 在我们下载的git代码中，有个xxl-job-executor-samples子工程， 这个子工程就是当前支持的各种语 ...
分类：
编程语言 时间：
2020-07-15 23:15:28
阅读次数：
74
种类 Executors.newCachedThreadPool ?定义：无界线程池，可自动回收 ?缺点：涌入大量任务时会大量创建线程 Executors.newFixedThreadPool ?定义：线程池中的线程数固定大小，超出的线程会在队列中等待 ?缺点：任务数量过大效率不高 Executor ...
分类：
编程语言 时间：
2020-07-13 18:42:05
阅读次数：
76
自定义插件: 四个处理：StatementHandler ParameterHandler ResultSethandler TypeHandler 四大核心对象:StatementHandler ParameterHandler ResultSethandler Executor 四大核心对象：1 ...
分类：
其他好文 时间：
2020-07-11 16:48:15
阅读次数：
46
1、定制线程池的大小 1.1、线程池的合理大小 取决于 未来提交的任务类型 和 所部署的系统特征； 2、配置ThreadPoolExecutor 2.1、ThreadPoolExecutor 提供了 一些基本的Executor的实现： （由 工具类Executors 提供的newCachedThre ...
分类：
编程语言 时间：
2020-07-10 11:40:50
阅读次数：
82
