第一种： 编译和重编译执行计划。第二种： 排序与聚合。第三种： 表格连接操作。第四种： max degree of parallelism。第五种： max worker threads。第六种： cost threadhold parallelism // 每...
分类：
数据库 时间：
2014-10-08 23:45:27
阅读次数：
327
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 ? Q1：AppClient和worker、master之间的关系是什么？ :AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器...
分类：
其他好文 时间：
2014-10-08 23:23:57
阅读次数：
335
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第15期互动问答分享】Q1：AppClient和worker、master之间的关系是什么？:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应用程序的代表，要完成程序的registerApplication等功能；当程序完成..
分类：
其他好文 时间：
2014-10-08 17:59:06
阅读次数：
166
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】
Q1：AppClient和worker、master之间的关系是什么？
AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类：
其他好文 时间：
2014-10-08 16:47:15
阅读次数：
212
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。...
分类：
其他好文 时间：
2014-10-05 03:14:47
阅读次数：
258
起因：最近需要从hbase中向 ES中导一批数据，使用multiprocessing 启动多个程序同时向ES导数据，可以大大提高效率，因为导数的任务是可以按照时间分割的。
令我十分不解的，multiprocessing 是如何实现任务的分发，以及结果的回传的。我希望能够把它的实现机制与操作系统的进程机制对应起来。
经过阅读代码，得出的结论如下：
1. 父进程作为整个任务的分发器，每个worker是一个子进程
2. 子进程和父进程之间通过管道通讯，包括任务的分发和结果的回传（2个【管道】) ，管道通过【信号量...
分类：
其他好文 时间：
2014-10-03 13:57:04
阅读次数：
284
worker_cpu_affinity
Syntax:worker_cpu_affinitycpumask[cpumask...]
Default:none
Linuxonly.
WiththisoptionyoucanbindtheworkerprocesstoaCPU,itcallssched_setaffinity().Forexample
worker_processes2;
worker_cpu_affinity0110;
worker_processes4;
worker_cpu_affi..
分类：
其他好文 时间：
2014-10-02 09:32:13
阅读次数：
155
Nginx默认没有开启利用多核CPU （忍不住吐槽，然怪总感觉服务器性能没充分发挥）, 我们可以通过增加worker_cpu_affinity配置参数来充分利用多核CPU。CPU是任务处理，计算最关键的资源，CPU核越多，性能就越好。配置Nginx多核CPU,worker_cpu_affinity使...
分类：
其他好文 时间：
2014-10-01 22:18:41
阅读次数：
241
MSSQL 数据库分为 自然连接、内连接、外连接1、自然连接和内连接基本相同。不同之处在于，自然连接“=”两侧的列属性值必须相同，内连接可以不同，只要读取数据相同即可。自然连接 eg. select worker.职工号,depart.部门 from worker,depart where work...
分类：
数据库 时间：
2014-10-01 03:01:10
阅读次数：
336
初探nginx架构(100%)众所周知，nginx性能高，而nginx的高性能与其架构是分不开的。那么nginx究竟是怎么样的呢？这一节我们先来初识一下nginx框架吧。nginx在启动后，在unix系统中会以daemon的方式在后台运行，后台进程包含一个master进程和多个worker进程。我们...
分类：
其他好文 时间：
2014-09-30 12:11:22
阅读次数：
252
