一：nginx虚拟主机配置#user nobody;#只有一个工作子进程,可以自行修改,但太无益,因为要占用CPU,一般设置为 CPU数*核数worker_processes 1;#error_log logs/error.log;#error_log logs/error.log no...
分类：
其他好文 时间：
2015-01-22 12:42:13
阅读次数：
196
spark内核揭秘-12-AppClient注册Master
一个资源大管家，其职责主要包括两个方面：
* Cluster资源的管理和Cluster的通讯管理
*
* 资源管理
*** Worker资源 RegisterWorker WorkDirCleanup
*** Driver资源 RequestSubmitDriver RequestKillDriver
*** App资源 RegisteredApplication
*** Executor资...
分类：
移动开发 时间：
2015-01-21 22:38:51
阅读次数：
299
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析...
分类：
其他好文 时间：
2015-01-21 22:32:54
阅读次数：
307
转载请注明出处：
锁级别：
从前面的《扩展哈希表》知道：哈希表进行扩展时，有一个专门的线程负责将item数据从旧哈希表迁移到新哈希表(由此，也称这个线程为迁移线程)。此外，还有一些worker线程会时不时访问item(包括插入、删除和获取)。这些线程的对item所做的操作基本上都是互斥的，必须加锁控制。
如果只使用一个锁，抢到该锁才能使...
分类：
系统相关 时间：
2015-01-20 10:29:59
阅读次数：
226
由于 Nginx 工作在 master-worker 多进程模式，若所有 worker 进程在同一时间监听同一个端口，当该端口有新的连接事件出现时，每个 worker 进程都会调用函数 ngx_event_accept 试图与新的连接建立通信，即所有 worker 进程都会被唤醒，这就是所谓的“惊群”问题，这样会导致系统性能下降。幸好在 Nginx 采用了 ngx_accept_mutex 同步锁机制，即只有获得该锁的 worker 进程才能去处理新的连接事件，也就在同一时间只能有一个 worker 进程监...
分类：
其他好文 时间：
2015-01-19 21:03:51
阅读次数：
191
实验架构图：实验环境Nginx和Keepalived原理介绍参考博客：http://467754239.blog.51cto.com/4878013/15414211、nginxNginx进程基于于Master+Slave(worker)多进程模型，自身具有非常稳定的子进程管理功能。在Master进程分配模式下，Master进程永远不进行业务处理，只是进行任务..
分类：
其他好文 时间：
2015-01-19 11:05:43
阅读次数：
719
转载请注明出处：
半同步/半异步：
memcached使用半同步/半异步网络模型处理客户端的连接和通信。
半同步/半异步模型的基础设施：主线程创建多个子线程(这些子线程也称为worker线程)，每一个线程都维持自己的事件循环，即每个线程都有自己的epoll，并且都会调用epoll_wait函数进入事件监听状态。每一个worker线程(子线程)和...
分类：
系统相关 时间：
2015-01-14 11:11:46
阅读次数：
324
