在Spark的Stage内部的每个Partition都会被分配一个计算任务Task，这些Task是并行执行的;Stage之间的依赖关系变成了一个大粒度的DAG，Stage只有在它没有parentStage或者parentStage都已经执行完成后才可以执行，也就是说DAG中的Stage是从前往后顺序执行的。
分类：
其他好文 时间：
2015-12-16 12:50:22
阅读次数：
139
MapReduce原理 MapReduce原理简单来说就是，一个大任务分成多个小的子任务(map)，并行执行后，合并结果(reduce)。例子： 100GB的网站访问日志文件，找出访问次数最多的IP地址
分类：
其他好文 时间：
2015-12-06 14:28:17
阅读次数：
120
做系统运维的时候，我们经常需要同时在多台机器上执行相同的命令，这个时候可以使用类似pssh,pdsh的并行执行shell的工具。 当然，之前在没有使用这些工具之前，如果有ssh无密码互访，我们可以自己写for循环来执行，但是自己写的for循环是串行， pdsh是并发。 比如，当你接管一个新的大数据集...
分类：
系统相关 时间：
2015-11-22 16:02:29
阅读次数：
183
本文介绍如何使用C#实现并行执行的流水线（生产者消费者）：1）流水线示意图；2）实现并行流水线
分类：
其他好文 时间：
2015-11-13 23:40:00
阅读次数：
310
Parallel.For/ForEach是数据层面的并行，本文所讲的Task是将不同的操作并行执行，本文主要内容：1）Task的工作模型；2）初始化Task；3）完成Task；4）取消Task
分类：
其他好文 时间：
2015-11-09 23:52:17
阅读次数：
280
1、操作系统 1.1、Linux 内核（系统）的组成的部分： 内核主要有：进程调度、内存管理、虚拟文件系统、网络接口和进程通信五个部分组成。 （1）进程调度 进程调度是CPU对多个进程对CPU访问的调度算法，使得进程宏观上并行执行。常用的调度算法有：先来先服务原则、高...
分类：
系统相关 时间：
2015-11-07 10:50:02
阅读次数：
272
Spark 应用由driver program 组成，driver program运行用户的主函数，在集群内并行执行各种操作主要抽象RDD： spark提供RDD，是贯穿整个集群中所有节点的分区元素的集合，能够被并行操作。RDDS来源： １．Hadoop文件系统或支持Hadoop的文件系统中操...
分类：
其他好文 时间：
2015-11-05 15:04:07
阅读次数：
348
http://www.blogjava.net/cenwenchu/archive/2008/06/30/211712.htmlCPU时间片为了提高程序执行效率，大家在很多应用中都采用了多线程模式，这样可以将原来的序列化执行变为并行执行，任务的分解以及并行执行能够极大地提高程序的运行效率。但这都是代...
分类：
其他好文 时间：
2015-11-03 16:04:15
阅读次数：
227
现代的计算机已经向多CPU方向发展，即使是普通的PC，甚至现在的智能手机、多核处理器已被广泛应用。在未来，处理器的核心数将会发展的越来越多。虽然硬件上的多核CPU已经十分成熟，但是很多应用程序并未这种多核CPU做好准备，因此并不能很好地利用多核CPU的性能优势。为了充分利用多CPU、多核CPU的性能...
分类：
编程语言 时间：
2015-10-28 20:50:22
阅读次数：
318
1简介及概念C# 支持通过多线程并行执行代码，线程有其独立的执行路径，能够与其它线程同时执行。一个 C# 客户端程序（Console 命令行、WPF 以及 Windows Forms）开始于一个单线程，这个线程（也称为“主线程”）是由 CLR 和操作系统自动创建的，并且也可以再创建其它线程。以下是一...
分类：
编程语言 时间：
2015-10-17 18:57:59
阅读次数：
276
