一：worker注册机制（worker启动之后） 1- worker在启动之后，就会主动向master进行注册； 2- Master将dead状态的worker过滤掉；将unknown状态的worker信息更新； 3- Master将worker将入到内存缓存中（HashMap）； 4- 持久化引擎 ...
分类：
其他好文 时间：
2019-10-26 10:50:50
阅读次数：
147
Celery 一 、什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统专注于实时处理的异步任务队列 同时也支持任务调度 1. Celery架构 的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task ...
分类：
其他好文 时间：
2019-10-25 00:05:26
阅读次数：
98
Spark 资源调度与任务调度的流程(Standalone): 启动集群后, Worker 节点会向 Master 节点汇报资源情况, Master掌握了集群资源状况。 当 Spark 提交一个 Application 后, 根据 RDD 之间的依赖关系将 Application 形成一个 DAG ...
分类：
其他好文 时间：
2019-10-24 21:25:15
阅读次数：
70
.NET CORE 3.0新增了Worker Services的新项目模板，可以编写长时间运行的后台服务，并且能轻松的部署成windows服务或linux守护程序。如果安装的vs2019是中文版本，Worker Services变成了辅助角色服务。Worker Services 咱也不知道怎么翻译成 ...
分类：
Web程序 时间：
2019-10-24 10:05:19
阅读次数：
112
处理链接 1：首先内核经过请求的三次握手成功后通过操作系统的负载均衡算法选择一个监听的worker进程 2：worker进程通过epoll事件机制epoll-wait方法返回一个链接句柄 3：事件模块epoll分配链接内存池 connection_pool_size:512字节 4：事件模块回调Ht ...
分类：
Web程序 时间：
2019-10-24 09:31:45
阅读次数：
117
What is spark.python.worker.memory? Spark on YARN resource manager: Relation between YARN Containers and Spark Executors？ When running Spark on YARN, ...
分类：
其他好文 时间：
2019-10-24 00:41:17
阅读次数：
108
以下使用共享内存的模块如下: 共享内存都需要全局锁 1：目前nginx用的锁是自旋锁 2：nginx共享内存都基本用到了rbtree数据结构 ...
分类：
系统相关 时间：
2019-10-23 09:39:52
阅读次数：
81
#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; ev... ...
分类：
其他好文 时间：
2019-10-22 18:40:14
阅读次数：
63
golang服务平滑重启小结背景golang程序平滑重启框架supervisor出现defunct原因使用master/worker模式背景在业务快速增长中，前期只是验证模式是否可行，初期忽略程序发布重启带来的暂短停机影响。当模式实验成熟之后会逐渐放量，此时我们的发布停机带来的影响就会大很多。我们整个服务都是基于云，请求流量从四层->七层->机器。要想实现平滑重启大致有三种方案，一种是
分类：
其他好文 时间：
2019-10-20 09:20:48
阅读次数：
103
资源预留必要性 以常见的kubeadm安装的k8s集群来说，默认情况下kubelet没有配置kube-reserverd和system-reserverd资源预留。worker node上的pod负载，理论上可以使用该节点服务器上的所有cpu和内存资源。比如某个deployment controll ...
分类：
其他好文 时间：
2019-10-19 22:21:21
阅读次数：
522
