源地址:http://storm.apache.org/documentation/Fault-tolerance.html
本文主要介绍Storm作为容错系统的设计细节。
当worker死掉时会发生什么?
当worker死掉时, supervisor将重启它。 如果worker启动总是失败,则worker就不能发送心跳消息给Nimbus, 那Nimbus就会...
分类:
其他好文 时间:
2014-11-29 00:18:19
阅读次数:
175
UCBerkeley研发的Tachyon(超光子['tæki???n],名字要不要这么太嚣张啊:)是一款为各种集群并发计算框架提供内存数据管理的平台,也可以说是一种内存式的文件系统吧。如下图,它就处于这样一个层次:在现有存储系统如HDFS之上,在Spark,MapReduce,Impala等各种计算框架之下。为什么要有这么一个框架呢?MapReduce就不说了,但像Spark这种内存计算框架,为什...
分类:
其他好文 时间:
2014-11-27 20:29:10
阅读次数:
287
Nginx源码分析—nginx的配置
Nginx都是一个master进程来管理多个worker进程。Worker进程的数量与服务器上的CPU核心数相等。Master是管理worker,接受外部信号,worker进程之间通过共享内存、原子操作实现通信和同步。
任意一个worker进程出现错误从而导致coredump时,master进程会立刻启动新的worker进程继续服务。
不同worker进...
分类:
其他好文 时间:
2014-11-26 16:40:01
阅读次数:
167
Nginx源码分析—定时器事件
对于每一个进程都有一个事件缓存,对于worker进程而言,除了nginx启动时更显一次时间外,任何更新时间的操作都只能由ngx_epoll_process_events方法执行。在此方法中,当flags参数中有NGX_UPDATE_TIME标志位,或者ngx_event_timer_alarm标志位为1时,就会调用ngx_time_update方法更新缓存时间。
...
分类:
其他好文 时间:
2014-11-26 16:38:35
阅读次数:
163
Traits不是一种语法特性,而是一种模板编程技巧。Traits在C++标准库,尤其是STL中,有着不可替代的作用。 如何在编译期间区分类型 下面我们看一个实例,有四个类,Farm、Worker、Teacher和Doctor,我们需要区分他们是脑力劳动者还是体力劳动者。以便于做出不同的行动。 这里的...
分类:
其他好文 时间:
2014-11-26 01:25:33
阅读次数:
237
图片上传请求由Node处理,图片访问请求由Nginx处理。1、Nginx配置#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log lo...
分类:
Web程序 时间:
2014-11-25 18:13:30
阅读次数:
225
1. 登陆中。。 登陆成功 BackgroundWorker worker = new BackgroundWorker(); worker.DoWork += (o, ea) => { ...
Spout:spout对象必须是继承Serializable, 因此要求spout内所有数据结构必须是可序列化的spout可以有构造函数,但构造函数只执行一次,是在提交任务时,创建spout对象,因此在task分配到具体worker之前的初始化工作可以在此处完成,一旦完成,初始化的内容将携带到每一个...
分类:
其他好文 时间:
2014-11-24 13:26:18
阅读次数:
172
前言
这个系列是关于Tachyon的,主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码,最近工作比较忙,精力实在有限,可能更新得比较慢
简介
Tachyon是一个分布式文件系统,提供了一种可靠的方式,可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类:
其他好文 时间:
2014-11-24 10:15:44
阅读次数:
173
usernobody;worker_processes12;error_loglogs/error.log;###/var/log/nginx/error.log;pidlogs/nginx.pid;###/var/run/nginx.pid;worker_rlimit_nofile65535;events{useepoll;worker_connections65535;}http{includemime.types;default_typeapplication/octet-stream;log_form..
分类:
其他好文 时间:
2014-11-23 08:12:39
阅读次数:
808