之前文章中介绍了python中multiprocessing模块中自带的进程池Pool，并对进程池中的数据结构和各个线程之间的合作关系进行了简单分析，这节来看下客户端如何对向进程池分配任务，并获取结果的。 我们知道，当进程池中任务队列非空时，才会触发worker进程去工作，那么如何向进程池中的...
分类：
编程语言 时间：
2015-06-13 21:38:26
阅读次数：
194
storm高可靠性：storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制：1.节点故障迁移 当一个节点上的worker出现问题是，会自动切到其他节点；2.消息完整发送一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建“单词统计”的例...
分类：
其他好文 时间：
2015-06-13 06:16:10
阅读次数：
182
最近公司的项目要是用cloud Service 所以研究了下 Azure cache 的配置与使用。首先创建项目第二步 配置 cache worker role（1） 点击 cache worker role 项目的属性设置。（2）属性Caching 设置第三步 添加代码到web项目的web.con...
分类：
系统相关 时间：
2015-06-11 18:34:11
阅读次数：
225
在Linux下运行2个php脚本：queue.php，worker.phpqueue.php，worker.php 2个脚本实现的功能：接收&&处理日志信息
应用程序发送日志信息是不定时的，但是queue,worker必须是常驻进程，一直开启等待接收&&处理信息，需要一直执行在putty上操作运行脚本，但是由于session会过期导致，php中断执行，想要php脚本一直运行，有2个方法1.如果你的...
分类：
Web程序 时间：
2015-06-11 16:58:48
阅读次数：
376
error_logar/loginx/error.loginfo;#全局错误日志定义类型，[debug|info|notice|warn|error|crit]pidar/runinx.pid;#进程文件worker_rlimit_nofile65535;#一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit-n）与nginx进程数相除，但是nginx..
分类：
其他好文 时间：
2015-06-11 00:29:57
阅读次数：
132
Rocket是一个轻量级，多线程，符合WSGI规范的web框架。Rocket使用一个线程监听连接，接收到连接之后放到Queue中，有worker线程进行处理。Rocket含有以下属性：method- A string value indicating the type of Worker to us...
分类：
Web程序 时间：
2015-06-10 23:54:25
阅读次数：
177
poolboy是Erlang中运用非常广泛的进程池库，它有很多优点，使用简单，在很多项目中都能看到它的身影。不过，它也有一些坑，使用时候需要注意。（本文对poolboy的分析基于1.5.1版本）worker创建不能失败当poolboy初始化的时候，或者当前进程池的worker数量超过默认值，都会新建...
分类：
其他好文 时间：
2015-06-09 19:36:49
阅读次数：
84
worker_processes2;定义了nginx对外提供web服务时的进程数。worker_rlimit_nofile100000;更改worker进程的最大打开文件数限制。events模块：events模块包含nginx中所有处理连接的设置。worker_connections2048;设置一个worker进程同时打开的最大连接数，如果上面设置了worker_r..
分类：
其他好文 时间：
2015-06-09 17:45:03
阅读次数：
140
支持性检测： typeof Worker !== 'undefined';支持度： IE9及以下版本不支持一、页面创建Worker对象：new Worker( url );参数：url 处理该Worker进程的JS文件路径页面向worker发送消息：postMessage(msg)参数：msg 向后...
分类：
Web程序 时间：
2015-06-09 13:16:44
阅读次数：
131
分析Storm-zookeeper节点
---dxwang
应用libra_pagevilewII_1420544958729(storm)在zookeeper上面节点，如下图：
节点workerbeats
描述：
每个topo对应各自worker心跳的详细信息。
每个worker心跳的详细信息：
心跳内容大概在22K(22942b)，会根据...
分类：
其他好文 时间：
2015-06-08 17:21:45
阅读次数：
142
