1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数,位于集群中的一个节点上,它负责三件事:维护 Spark 应用程序的相关信息;回应用户的程序或输入;分析任务并分发给若干执行器进行处理。驱动器是必须的,它是 Spark 应用程序的核 ...
分类:
其他好文 时间:
2020-12-17 12:09:25
阅读次数:
2
一、前言 xxl-job一个轻量级的分布的调度中间件,详情介绍自己到官网看:https://www.xuxueli.com/xxl-job/ 二、客户端(执行器) 引入依赖compile group: 'com.xuxueli', name: 'xxl-job-core', version: '2. ...
分类:
编程语言 时间:
2020-12-14 13:00:53
阅读次数:
4
对很多开发者来说,数据库就是个黑盒子,你会写 SQL,会用数据库,但不知道盒子里面到底是怎么一回事儿,这样你只能机械地去记住别人告诉你的那些优化规则,却不知道为什么要遵循这些规则,也就谈不上灵活运用。 数据库的服务端,可以划分为执行器 (Execution Engine) 和存储引擎 (Storag ...
分类:
数据库 时间:
2020-11-16 14:04:36
阅读次数:
24
MySQL - 实战 (1) 1 基础架构: 一条SQL查询语句如何执行 1.1 MySQL逻辑架构图 MySQL 可以分为 Server 层和存储引擎层两部分 1.1.1 Service层 Server 层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖 MySQL 的大多数核心服务功能,以及 ...
分类:
数据库 时间:
2020-10-30 12:01:23
阅读次数:
21
性能调优 1、调优tomcat的线程池 1、1打开tomcat下的conf找到server.xml name : 执行器(线程池)的名字 namePrefix : 指定线程池中的每一个线程的name前缀 maxThreads:线程池中最大的线程数量 假设:请求的数量超过了“700,这将不是意味着将m ...
分类:
其他好文 时间:
2020-10-21 21:00:47
阅读次数:
26
阶段执行器,跟Barrier有点类似。 分阶段执行,一个阶段中所有的线程都执行完了再执行下一个阶段的线程。 下面的代码是模仿一对新人结婚的场景:1. 等所有人到齐了 2. 等所有人都吃完了 3.等所有人都离开了 4. 新人入洞房。这四个步骤分为四个阶段执行。 假设婚礼参加都人数算上新人一共有7个人, ...
分类:
其他好文 时间:
2020-09-24 21:39:21
阅读次数:
36
今天有同学在GitlabCI课程实践中遇到了一个问题,当runner需要下载私有镜像仓库中的镜像报错,提示没有权限。如果是在vm或者物理机注册的docker类型执行器的runner,则在本机执行docker login之后就可以了。但是现在是通过docker运行的gitlabrunner 并且使用的也是docker类型的执行器。此时我们就需要在项目或者Runner配置镜像仓库的认证信息了。
分类:
其他好文 时间:
2020-09-18 03:44:07
阅读次数:
50
一、async函数 async 函数就是 Generator 函数的语法糖。 二、async函数的优点 async 函数对 Generator 函数的改进,体现在以下三点。 (1)内置执行器。async 函数的执行,与普通函数一模一样,只要一行。 var result = asyncReadFile ...
分类:
其他好文 时间:
2020-09-17 17:04:04
阅读次数:
28
Spring Cloud Bus能管理和传播分布式系统间的消息,就像一个分布式执行器,可用于广播状态更改,时间推送等,也可以当作微服务间的通信通道。 ...
分类:
编程语言 时间:
2020-09-17 16:50:32
阅读次数:
29
##1. 为什么要用动态代理 对于一个类的方法 public class Calculator { public void add(int i,int j){ System.out.println("add方法调用,参数为"+i+","+j); System.out.println(i + j); ...
分类:
其他好文 时间:
2020-09-17 13:39:54
阅读次数:
30