多线程模式之MasterWorker模式 Master-Worker模式的核心思想是，系统由两类进程协作工作：Master进程和Worker进程。Master进程负责接收和分配任务，Worker进程负责处理子任务。当Worker进程将各个子任务处理完成后，将结果返回给Master进程，由Master...
分类：
编程语言 时间：
2015-03-06 10:00:36
阅读次数：
176
多任务可以用一个进程作为Master分配任务，其它进程作为Worker执行任务来实现。 这样可以把Master放在一台电脑上，Workers放在其他电脑上实现分布式进程。 #taskmanager.py
#!/usr/bin/env?python
import?rando...
分类：
编程语言 时间：
2015-03-05 17:27:57
阅读次数：
186
上一篇文章spark 源码理解1 从spark启动脚本开始是分析执行start_all.sh时，集群中启动了哪些进程，下面我们再深入一点看看这些进程都是做什么用的，它们之间又是如何通信的？一、Master进程的启动Master进程，它主要负责对Worker、Driver、App等资源的管理并与它们进...
分类：
其他好文 时间：
2015-03-05 16:27:43
阅读次数：
173
在此记录下Nginx服务器nginx.conf的配置文件说明, 部分注释收集与网络.#运行用户user www-data;#启动进程,通常设置成和cpu的数量相等worker_processes 1;#全局错误日志及PID文件error_log /var/log/nginx/error.log;pi...
分类：
其他好文 时间：
2015-03-05 16:14:59
阅读次数：
137
在gearman的官网http://gearman.org/有以下的一段说明A Gearman powered application consists of three parts: a client, a worker, and a job server.The client is respon...
分类：
其他好文 时间：
2015-03-05 12:27:28
阅读次数：
189
1、用于map的输入，先将输入数据切分成相等的分片，为每一个分片创建一个map worker,这里的切片大小不是随意订的，一般是与HDFS块大小一致，默认是64MB，一个节点上存储输入数据切片的最大size就是HDFS的块大小，当设置的切片size大于HDFS块大小，会引起节点之间的传输，占用带宽。...
分类：
其他好文 时间：
2015-03-03 21:58:56
阅读次数：
138
user www;worker_processes 2;error_log /var/log/nginx/error.log error;#error_log logs/error.log notice;#error_log logs/error.log info;pid /var/ru...
分类：
其他好文 时间：
2015-03-03 16:35:35
阅读次数：
151
ngx_lua模块的原理：1、每个worker（工作进程）创建一个Lua VM，worker内所有协程共享VM；2、将Nginx I/O原语封装后注入 Lua VM，允许Lua代码直接访问；3、每个外部请求都由一个Lua协程处理，协程之间数据隔离；4、Lua代码调用I/O操作等异步接口时，会挂起当前...
分类：
其他好文 时间：
2015-03-02 18:44:22
阅读次数：
548
httpd-2.4的新特性:1)MPM支持在运行是装载;--enalbe-mpm-shared=all--with-mpm={prefork|worker|event}
2)支持eventmpm
3)异步读写
4)在每模块及每目录分别使用不同的日志级别
5)每请求的配置:<If>,<Elseif>
6)增强版的表达式分析器
7)毫秒级的keepalive的t..
分类：
Web程序 时间：
2015-03-02 14:58:41
阅读次数：
216
worker新线程：1.通过postMessage( data ) 方法来向主线程发送数据;2.绑定onmessage方法来接收主线程发送过来的数据；3.worker外部文件不允许使用window，document，parent对象；请求数据： 响应数据：
分类：
编程语言 时间：
2015-03-02 14:38:23
阅读次数：
159
