Spark 集群相关 来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worker, driver, executor的理解 打包提交,发布 Spark application standalone模式 SparkCluste ...
分类:
其他好文 时间:
2019-09-27 19:01:08
阅读次数:
111
我是用了netty搭建了一个UDP接收日志,堆启动配置 Xmx256 Xms256 ,项目刚启动的时候,系统进程占用内存很正常,在250M左右。 长时间运行之后发现,进程占用内存不断增长,远远超过了我设置的堆内存大小,查看幸存者,伊甸园,老年代,gc都很正常,堆使用数据一切正常,甚至我怀疑元空间占用 ...
分类:
其他好文 时间:
2019-09-27 12:29:18
阅读次数:
156
线程池做的主要工作是控制运行的线程的数量,处理过程中将任务放入队列,然后在线程创建后启动这些任务,如果线程数量超过了最大数量,超出数量的线程排队等待,等其他线程执行完毕,再从队列中取任务来执行。 Executor 线程池的顶级接口。 Executors 线程池相关的工具类。 线程池的主要特点为:线程 ...
分类:
编程语言 时间:
2019-09-25 16:11:16
阅读次数:
115
import java.sql.Timestamp;import java.util.ArrayList;import java.util.List;import javax.persistence.criteria.CriteriaBuilder;import javax.persistence. ...
分类:
编程语言 时间:
2019-09-24 15:55:30
阅读次数:
425
一、concurrent模块的介绍 模块提供了高度封装的异步调用接口 线程池,提供异步调用 进程池,提供异步调用 两者都实现相同的接口,该接口由抽象Executor类定义。 二、基本方法 异步提交任务 :取代for循环submit的操作 :相当于进程池的 操作 wait=True,等待池内所有任务执 ...
分类:
编程语言 时间:
2019-09-22 21:34:45
阅读次数:
117
Executor ExecutorService 是一个接口,继承了 接口,定义了一些生命周期的方法 Executors工厂类 类,提供了一系列工厂方法用于创建线程池,返回的线程池都实现了 接口。 线程池分类 ...
分类:
其他好文 时间:
2019-09-14 16:15:05
阅读次数:
80
JUC 分为5大类 tools:Lock; collections:Queue CopyOnWriteArrayList locks:ReadWriteLock atomic:AtomicBoolean executor:Future Callable ...
分类:
其他好文 时间:
2019-09-13 19:23:32
阅读次数:
82
三种多线程实现方式: 继承Thread类,重写run方法,启动start 实现Runnable接口,重写run方法,创建Thread代理类并传入,启动start 实现Callable接口,重写call方法,创建线程池并传入submit执行。 继承Thread类,重写run方法,启动start 实现R ...
分类:
编程语言 时间:
2019-09-12 23:08:42
阅读次数:
102
1.1.1.Executor进程专属 如图所示: 1.1.2. 支持多种资源管理器 如图所示: 1.1.3. Job提交就近原则 如图所示: 1.1.4. 移动程序而非移动数据的原则执行 如图所示: ...
分类:
其他好文 时间:
2019-09-11 09:25:00
阅读次数:
99
金九银十跳槽季已经开始,作为 Java 开发者你开始刷面试题了吗?别急,我整理了71道并发相关的面试题,看这一文就够了! ...
分类:
编程语言 时间:
2019-09-08 22:14:47
阅读次数:
105