本文节选不保证论文的完整性和理解的准确性原始的MapReduce。分Map,Shuffle,Reduce。Map里包含shards。Shuffle理解为groupByKey的事情。Reduce里包含Combiner,能够定义Sharder来控制key怎么和Reducer worker相应起来。核心抽...
分类:
编程语言 时间:
2015-06-18 23:41:02
阅读次数:
181
ginx.conf:worker_processes 1;events { worker_connections 1024;}http { include mime.types; default_type application/octet-stream; sendfile on; keepaliv...
分类:
其他好文 时间:
2015-06-18 16:50:44
阅读次数:
141
本文章的个人博客地址:http://www.z-dig.com/nginx-optimization-25.html本文内容来自老男孩教育运维班课程,由本人整理http://oldboy.blog.51cto.com/1.1隐藏nginxheader里版本号信息1.2更改源码隐藏软件名称及版本号1.3更改掉nginx默认用户及用户组(worker进程服务用户优化..
分类:
其他好文 时间:
2015-06-18 02:03:50
阅读次数:
144
ror 学习笔记2在railsapp的config文件夹中新建unicorn.rb内容如下worker_processes2working_directory"/home/mage/boleht"listen"/tmp/unicorn.boleht.sock"listen19555, :tcp_no...
分类:
其他好文 时间:
2015-06-17 21:19:25
阅读次数:
122
(一)storm拓扑的并行度可以从以下4个维度进行设置:1、node(服务器):指一个storm集群中的supervisor服务器数量。2、worker(jvm进程):指整个拓扑中worker进程的总数量,这些数量会随机的平均分配到各个node。3、executor(线程):指某个spout或者bo...
分类:
其他好文 时间:
2015-06-17 13:18:10
阅读次数:
152
(一)storm拓扑的并行度可以从以下4个维度进行设置:
1、node(服务器):指一个storm集群中的supervisor服务器数量。
2、worker(jvm进程):指整个拓扑中worker进程的总数量,这些数量会随机的平均分配到各个node。
3、executor(线程):指某个spout或者bolt的总线程数量,这些线程会被随机平均的分配到各个worker。
4、task(spo...
分类:
其他好文 时间:
2015-06-17 11:25:53
阅读次数:
157
sql example 10 – joinsql example 10 – joininner join 内连接left [outer] join # outer 可以省略right [outer] join # outer 可以省略create table worker (wid int auto...
分类:
数据库 时间:
2015-06-14 21:25:37
阅读次数:
210
Nginx优化选项参数注释:worker_processes#nginx进程数。具体用法:worker_processes8;#建议按照cpu核数目来指定,通常设置为cpu核数的倍数。参数注释:worker_cpu_affinity#设置进程绑定cpu,这个跟worker_processes协同工作。具体用法:worker_processes8worker_cpu_affinity..
分类:
其他好文 时间:
2015-06-14 00:42:39
阅读次数:
175
之前文章中介绍了python中multiprocessing模块中自带的进程池Pool,并对进程池中的数据结构和各个线程之间的合作关系进行了简单分析,这节来看下客户端如何对向进程池分配任务,并获取结果的。 我们知道,当进程池中任务队列非空时,才会触发worker进程去工作,那么如何向进程池中的任务....
分类:
编程语言 时间:
2015-06-13 22:51:33
阅读次数:
181
Java装饰者模式简介一、假设有一个Worker接口,它有一个doSomething方法,Plumber和Carpenter都实现了Worker接口,代码及关系如下:1.Worker.javapackage decorator;public interface Worker { public ...
分类:
编程语言 时间:
2015-06-13 22:51:09
阅读次数:
240