一.资源调度&任务调度 1.启动集群后，Worker节点会周期性的【心跳】向Master节点汇报资源情况，Master掌握集群资源情况。 2.当Spark提交一个Application后，根据RDD之间的依赖关系将Application构建成一个DAG有向无环图。 3.任务提交后，Spark会在Dr ...
分类：
其他好文 时间：
2019-04-04 20:36:22
阅读次数：
213
原文:WPF定时刷新UI界面代码： using NHibernate.Criterion; using System; using System.Collections.Generic; using System.Collections.ObjectModel; using System.Compo... ...
在 .NET Core 3.0 中，我们引入了一种名为 Worker Service 的新型应用程序模板。此模板旨在为您在 .NET Core 中编写长时间运行的服务的提供一个起点。在本演练中，我们将创建一个 worker 并将其作为 Windows 服务运行。 ...
一、下载 http://nginx.org/en/download.html 二、解压文件 在当前文件夹下通过终端就可以操作nginx nginx -v 三、配置详解 述配置都是存放在main全局配置模块中的配置项 user用来指定nginx worker进程运行用户以及用户组，默认nobody账号 ...
分类：
其他好文 时间：
2019-03-31 20:52:51
阅读次数：
233
nginx作为一个反向代理、负载均衡服务器，必须具备高可用的特点，因此nginx支持热部署。nginx的热部署和其并发模型有着密不可分的关系。说白了，就是因为master进程的关系。当通知ngnix重读配置文件的时候，master进程会进行语法错误的判断。如果存在语法错误的话，返回错误，不进行装载；如果配置文件没有语法错误，那么ngnix也不会将新的配置调整到所有worker中。而是，先不改变已经
分类：
其他好文 时间：
2019-03-31 15:21:16
阅读次数：
269
nginx性能优化 1.worker_processes n; nginx 进程数，一般为cpu的倍数 2.worker_cpu_affinity 00000001 00000010 .. 为每个进程分配cpu，可多写几个，也可将一个进程分配到多个cpu 3. worker_rlimit_nofil ...
分类：
其他好文 时间：
2019-03-30 10:40:12
阅读次数：
158
concurrent.futures模块详解 Executor对象 class concurrent.futures.Executor Executor是一个抽象类，它提供了异步执行调用的方法。它不能直接使用，但可以通过它的两个子类ThreadPoolExecutor或者ProcessPoolExe ...
分类：
编程语言 时间：
2019-03-26 21:03:55
阅读次数：
1316
worker_processes 8; #nginx进程数，建议设置为等于CPU总核心数. #全局错误日志定义类型，[ debug | info | notice | warn | error | crit ] error_log /var/log/nginx/error.log info; #进程... ...
分类：
其他好文 时间：
2019-03-25 19:10:03
阅读次数：
199
序言 1. master.go 可以正常调用Distributed() 和 Sequential()。 Sequential 顺序执行主要用于调试。 2. master : 创建一个 RPC server(master_rpc.go). 等待 worker 注册服务（master.go Regist ...
分类：
其他好文 时间：
2019-03-24 21:36:21
阅读次数：
159
Event对象： 用于线程间的通信，某个线程需要根据其他线程的状态来判断自己的下一步操作。 Event内部定义了一个全局变量：_flag，默认为False。 当_flag = False时，会阻塞当前线程的执行；_flag = True时，当前线程会继续执行。 Event内部还定义了如下方法来操纵标 ...
分类：
编程语言 时间：
2019-03-24 17:28:01
阅读次数：
176
