1 cluster多进程 cluster经过好几代的发展,现在已经比较好使了。利用cluster,可以自动完成子进程worker分配request的事情,就不再需要自己写代码在master进程中robin式给每个worker分配任务了。 上述简单的代码,就实现了根据CPU个数,创建多个worker。 ...
分类:
Web程序 时间:
2016-04-25 17:53:15
阅读次数:
556
#usernobody;登录用户worker_processes1;nginx开启的进程数,一般开启一个就足够,多开几个work进程,可以减少机器io带来的影响,在一般情况下开启4个或者8个,多开无意#error_loglogs/error.log;错误日志目录#error_loglogs/error.lognotice;#error_loglogs/error.loginfo;#pi..
分类:
其他好文 时间:
2016-04-25 01:05:59
阅读次数:
221
任务提交流程概述
在阐明了Spark的Master的启动流程与Worker启动流程。接下继续执行的就是Worker上的Executor进程了,本文继续分析整个Executor的启动与任务提交流程
Spark-submit提交一个任务到集群通过的是Spark-submit
通过启动脚本的方式启动它的主类,这里以WordCount为例子
`spark-submit –class cn.itcas...
分类:
其他好文 时间:
2016-04-22 20:58:09
阅读次数:
395
基本配置: #运行用户user www-data; #启动进程,通常设置成和cpu的数量相等worker_processes 1; #全局错误日志及PID文件error_log /var/log/nginx/error.log;pid /var/run/nginx.pid; #工作模式及连接数上限e ...
分类:
其他好文 时间:
2016-04-21 15:02:41
阅读次数:
202
初识ServiceWorker 初识ServiceWorker 在8月份的时候。W3C更新了一个叫Service Workers的API。 了解过HTML5中的Web Worker的人可能会对这个API会更easy理解一些,不然的话会将这两个API搞混。 事实上,Service Worker是基于W ...
分类:
其他好文 时间:
2016-04-20 21:38:00
阅读次数:
303
查看nginx编译时参数的设定 使用nginx -V命令查看 可以使用nginx -h命令查看命令帮助 配置文件中将worker process绑定到cpu的特定内核上, vim /etc/nginx/nginx.conf 注意worker_cpu_affinity这个参数是对cpu多核的支持,上面 ...
分类:
其他好文 时间:
2016-04-20 17:35:20
阅读次数:
176
1.安装 2.目录结构 conf >配置文件html >网页文件logs >日志文件sbin >主要的二进制程序 3.启动nginx 4.nginx进程: 5.管理nginx: 6.配置文件 Event { worker_connections 1024; // 一般是配置nginx连接的特性,这是 ...
分类:
其他好文 时间:
2016-04-20 13:16:54
阅读次数:
206
CentOS6:httpd-2.2程序环境:配置文件:/etc/httpd/conf/httpd.conf/etc/httpd/conf.d/*.conf服务脚本:/etc/rc.d/init.d/httpd脚本配置文件:/etc/sysconfig/httpd主程序文件:/usr/sbin/httpd/usr/sbin/httpd.event/usr/sbin/httpd.worker日志文件:/var/log/httpd:access_l..
分类:
Web程序 时间:
2016-04-19 20:23:01
阅读次数:
364
有以下情景: 使用js 求 10000 之内的 质数,并把这些质数全部显示在 页面上 不使用 Worker 的写法: 大量的运算导致了 dom 渲染等待延迟。 使用 Worker: 定义 worker.js 文件(名字任意) html 页面 ...
分类:
编程语言 时间:
2016-04-19 00:09:14
阅读次数:
183
[root@iio enp]# createrepo -g /enp/comps.xml .Spawning worker 0 with 1362 pkgsWorkers FinishedSaving Primary metadataSaving file lists metadataSaving ...
分类:
其他好文 时间:
2016-04-18 18:48:02
阅读次数:
150