一:nginx虚拟主机配置#user nobody;#只有一个工作子进程,可以自行修改,但太无益,因为要占用CPU,一般设置为 CPU数*核数worker_processes 1;#error_log logs/error.log;#error_log logs/error.log no...
分类:
其他好文 时间:
2015-01-22 12:42:13
阅读次数:
196
spark内核揭秘-12-AppClient注册Master
一个资源大管家,其职责主要包括两个方面:
* Cluster资源的管理和Cluster的通讯管理
*
* 资源管理
*** Worker资源 RegisterWorker WorkDirCleanup
*** Driver资源 RequestSubmitDriver RequestKillDriver
*** App资源 RegisteredApplication
*** Executor资...
分类:
移动开发 时间:
2015-01-21 22:38:51
阅读次数:
299
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析...
分类:
其他好文 时间:
2015-01-21 22:32:54
阅读次数:
307
转载请注明出处:
锁级别:
从前面的《扩展哈希表》知道:哈希表进行扩展时,有一个专门的线程负责将item数据从旧哈希表迁移到新哈希表(由此,也称这个线程为迁移线程)。此外,还有一些worker线程会时不时访问item(包括插入、删除和获取)。这些线程的对item所做的操作基本上都是互斥的,必须加锁控制。
如果只使用一个锁,抢到该锁才能使...
分类:
系统相关 时间:
2015-01-20 10:29:59
阅读次数:
226
由于 Nginx 工作在 master-worker 多进程模式,若所有 worker 进程在同一时间监听同一个端口,当该端口有新的连接事件出现时,每个 worker 进程都会调用函数 ngx_event_accept 试图与新的连接建立通信,即所有 worker 进程都会被唤醒,这就是所谓的“惊群”问题,这样会导致系统性能下降。幸好在 Nginx 采用了 ngx_accept_mutex 同步锁机制,即只有获得该锁的 worker 进程才能去处理新的连接事件,也就在同一时间只能有一个 worker 进程监...
分类:
其他好文 时间:
2015-01-19 21:03:51
阅读次数:
191
实验架构图:实验环境Nginx和Keepalived原理介绍参考博客:http://467754239.blog.51cto.com/4878013/15414211、nginxNginx进程基于于Master+Slave(worker)多进程模型,自身具有非常稳定的子进程管理功能。在Master进程分配模式下,Master进程永远不进行业务处理,只是进行任务..
分类:
其他好文 时间:
2015-01-19 11:05:43
阅读次数:
719
转载请注明出处:
半同步/半异步:
memcached使用半同步/半异步网络模型处理客户端的连接和通信。
半同步/半异步模型的基础设施:主线程创建多个子线程(这些子线程也称为worker线程),每一个线程都维持自己的事件循环,即每个线程都有自己的epoll,并且都会调用epoll_wait函数进入事件监听状态。每一个worker线程(子线程)和...
分类:
系统相关 时间:
2015-01-14 11:11:46
阅读次数:
324
让QTimer 跑在其他线程. 一般写法如下.1. 在main thread中为worker thread指定定时器. QThread* thread = new QThread(this); thread->start(); QTimer *timer = new QTimer(0); timer...
分类:
其他好文 时间:
2015-01-12 12:41:13
阅读次数:
1326
当整个世界都慢慢倾向于nginx的时候,如果你还在使用apache,那么你可能会用尽一切办法来保证速度。你也许会调整要加载的模块,使用Keepalive、摆弄内容协商模块(mod_negotiation,译注:从几个文档中选择一个最匹配客户端要求的文档)、FollowSymLinks指令(译注:允许在此目录中使用软链接)以及重写功能;你甚至可能还会投入更多硬件,并假装自己没有。然而,如果你运营的网...
分类:
Web程序 时间:
2015-01-12 09:27:59
阅读次数:
235
总体而言,nginx的配置比起apache来是要简洁很多,而言容易理解得多的。我们先看一个简化版的配置文件nginx.conf:#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.lo...
分类:
其他好文 时间:
2015-01-12 00:16:56
阅读次数:
253