在此记录下Nginx服务器nginx.conf的配置文件说明, 摘录#运行用户user www-data;#启动进程,通常设置成和cpu的数量相等worker_processes 1;#全局错误日志及PID文件error_log /var/log/nginx/error.log;pid /var/r...
分类：
其他好文 时间：
2014-10-12 18:22:28
阅读次数：
266
Nginx 配置文件详解 user nginx ; #用户 worker_processes 8; #工作进程，根据硬件调整，大于等于cpu核数 error_log logs/nginx_error.log crit; #错误日志 pid logs/nginx.pid; #pid放置的位置 worker_rlimit_no...
分类：
其他好文 时间：
2014-10-11 19:09:06
阅读次数：
300
使用的Storm版本是0.9.2,在运行一段时间后(时间不定，最快几十分钟)，某个worker会报如下异常java.lang.RuntimeException:java.lang.RuntimeException:java.io.OptionalDataException
atbacktype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:128)~[s..
分类：
其他好文 时间：
2014-10-11 16:30:17
阅读次数：
349
说明：android的线程使用。android的线程无非就是Main Thread和Worker Thread。（除了主线程Main Thread之外的其他线程都是Worker Thread）
Main Thread 也叫UI Thread ，绝大部分的UI 代码都运行在主线程的。接下来用几个例子来说明一下。
例子：
1、用户点击Button，开启新的Worker Thread，在Worke...
分类：
移动开发 时间：
2014-10-09 01:50:33
阅读次数：
242
第一种： 编译和重编译执行计划。第二种： 排序与聚合。第三种： 表格连接操作。第四种： max degree of parallelism。第五种： max worker threads。第六种： cost threadhold parallelism // 每...
分类：
数据库 时间：
2014-10-08 23:45:27
阅读次数：
327
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 ? Q1：AppClient和worker、master之间的关系是什么？ :AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器...
分类：
其他好文 时间：
2014-10-08 23:23:57
阅读次数：
335
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第15期互动问答分享】Q1：AppClient和worker、master之间的关系是什么？:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应用程序的代表，要完成程序的registerApplication等功能；当程序完成..
分类：
其他好文 时间：
2014-10-08 17:59:06
阅读次数：
166
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】
Q1：AppClient和worker、master之间的关系是什么？
AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类：
其他好文 时间：
2014-10-08 16:47:15
阅读次数：
212
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。...
分类：
其他好文 时间：
2014-10-05 03:14:47
阅读次数：
258
起因：最近需要从hbase中向 ES中导一批数据，使用multiprocessing 启动多个程序同时向ES导数据，可以大大提高效率，因为导数的任务是可以按照时间分割的。
令我十分不解的，multiprocessing 是如何实现任务的分发，以及结果的回传的。我希望能够把它的实现机制与操作系统的进程机制对应起来。
经过阅读代码，得出的结论如下：
1. 父进程作为整个任务的分发器，每个worker是一个子进程
2. 子进程和父进程之间通过管道通讯，包括任务的分发和结果的回传（2个【管道】) ，管道通过【信号量...
分类：
其他好文 时间：
2014-10-03 13:57:04
阅读次数：
284
