Spark概述
当前,MapReduce编程模型已经成为主流的分布式编程模型,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷,如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年,社区出现了优化改进M...
分类:
其他好文 时间:
2014-09-27 18:23:00
阅读次数:
573
本文引自:http://www.danieleteti.it/category/embarcadero/delphi-xe7-embarcadero/ 并行编程库是delphi XE7中引进的最受期待的功能之一。下面是一个简单的并行编程例子: procedure TFormThreading.But...
分类:
其他好文 时间:
2014-09-27 18:04:30
阅读次数:
183
在上文《.Net中的并行编程-2.ConcurrentQueue的实现与分析》 中解释了无锁的相关概念,无独有偶BCL提供的ConcurrentQueue也是基于原子操作实现, 由于ConcurrentQueue的代码较多所以本文主要分析几个常用操作:入队(EnQueue) 、出队(TryDequ....
分类:
Web程序 时间:
2014-09-26 01:15:57
阅读次数:
245
并行开发一直是程序员在开发项目中遇到的一道坎,但为了迎合硬件的升级,面对高端多核的处理器,并行编程势在必行。在.NET平台下的开发支持并行模式,下面用一个实际项目说明并行的高效率和神奇之处。在优化中国铁建企业经营管理系统时,遇到一个迫切需要解决的问题.就是报表处理响应时间的问题,在系统最初数据较少,...
分类:
Web程序 时间:
2014-09-26 00:42:28
阅读次数:
279
在上篇文章《.net中的并行编程-1.基础知识》中列出了在.net进行多核或并行编程中需要的基础知识,今天就来分析在基础知识树中一个比较简单常用的并发数据结构--.net类库中无锁栈的实现。 首先解释一下什么这里“无锁”的相关概念。 所谓无锁其实就是在普通栈的实现方式上使用了原子操作,原子操作的原理...
分类:
Web程序 时间:
2014-09-26 00:24:47
阅读次数:
216
作为一个ASP.NET开发人员,在之前的开发经历中接触多线程编程的机会并不是很多,但是随着.NET 4.0的发布临近,我越来越感受到未来的1-2年中并行计算将会有很大的应用。于是决定通过写日志的方式来总结一下.NET 3.5下的多线程编程进而引入.NET 4.0提供的新的并行库以及新的并行编程模式和编程的思维方式。
个人觉得在日常的编程中对于ASP.NET程序员来说使用多线程编程不是很多,其...
分类:
编程语言 时间:
2014-09-24 18:08:14
阅读次数:
149
原文链接 回想一下我们之前在设备上使用“kernelFunction>>(..)”执行一个函数的代码,我在那里还曾说过后面会细说,本文就详细介绍一下参数N1,>,这里就是并行魔法发生地。 N1是我们想并行运行的块数,如果我们调用“kernelFunction>>(..)”,这个函数将分成5个副本.....
分类:
其他好文 时间:
2014-09-17 20:08:42
阅读次数:
210
大家写多线程的程序: 但是正常的编程模型是怎么样的格式呀: 那就是Job-Task的模型进行实现 比如Hadoop的实现,Spring-Batch的实现,Spring里面的实现机制。 这也是并行编程的机制,大家可以了解常见的并行编程的模型介绍: 生产者模型: epoll机制 ...
分类:
其他好文 时间:
2014-09-11 07:40:21
阅读次数:
195
原文:C#并行编程-Parallel菜鸟学习并行编程,参考《C#并行编程高级教程.PDF》,如有错误,欢迎指正。 TPL中引入了一个新命名空间System.Threading.Tasks,在该命名空间下Task是主类,表示一个类的异步的并发的操作,创建并行代码的时候不一定要直接使用Task类,在某些...
分类:
其他好文 时间:
2014-09-06 12:23:53
阅读次数:
223
原文:C#并行编程-PLINQ:声明式数据并行背景
通过LINQ可以方便的查询并处理不同的数据源,使用Parallel LINQ (PLINQ)来充分获得并行化所带来的优势。
PLINQ不仅实现了完整的LINQ操作符,而且还添加了一些用于执行并行的操作符,与对应的LINQ相比,通过PLINQ可以获得...
分类:
其他好文 时间:
2014-09-06 12:23:43
阅读次数:
203