MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算一切都是从最上方的user program开始的，user program链接了MapReduce库，实现了最基本的Map函数和Reduce函数。图中执行的顺序都用数字标记了。1.MapReduce库先把user progra...
分类：
其他好文 时间：
2014-11-19 00:26:00
阅读次数：
167
测试条件： 依次计算1到100 0000的Math.Pow运算。运算3次。测试代码： static int maxNum = 1000000; static void Main(string[] args) { //迭代次数 ...
分类：
其他好文 时间：
2014-11-08 15:07:56
阅读次数：
138
matlab自身提供了一套并行运算的解决方案，其中包含了两种不同的并行运算方式，分别为distributed job和parallel job。本文介绍了这两种并行模式的异同以及实际使用方式。...
分类：
其他好文 时间：
2014-11-07 11:20:59
阅读次数：
125
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软...
分类：
其他好文 时间：
2014-10-24 20:20:24
阅读次数：
312
spark是一个快速的内存计算框架；同时是一个并行运算的框架。在计算性能调优的时候，除了要考虑广为人知的木桶原理外，还要考虑平行运算的Amdahl定理。
木桶原理又称短板理论，其核心思想是：一只木桶盛水的多少，并不取决于桶壁上最高的那块木块，而是取决于桶壁上最短的那块。将这个理论应用到系统性能优化上，系统的最终性能取决于系统中性能表现最差的组件。例如，即使系统拥有充足的内存资源和...
分类：
数据库 时间：
2014-10-23 12:27:59
阅读次数：
357
GCD简介GCD全称Grand Central Dispatch，可翻译为“牛逼的中枢调度器”。纯C语言，提供了非常多强大的函数。GCD优势：GCD是苹果公司为多核的并行运算提出的解决方案。GCD会自动利用更多的CPU内核（比如双核、四核）。GCD会自动管理线程的生命周期（创建线程、调度任务、销毁线...
分类：
移动开发 时间：
2014-10-21 19:36:59
阅读次数：
249
一、简介在iOS所有实现多线程的方案中，GCD应该是最有魅力的，因为 GCD本身是苹果公司为多核的并行运算提出的解决方案。GCD在工作时会自动利用更多的处理器核心，以充分利用更强大的机器。GCD是Grand Central Dispatch的简称，它是基于C语言的。如果使用GCD，完全由系统管理线程...
分类：
其他好文 时间：
2014-09-30 23:31:00
阅读次数：
331
MapReduce原理：
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTrac...
分类：
编程语言 时间：
2014-09-26 19:07:08
阅读次数：
187
原文链接第十节：CUDPP, 强大的数据平行CUDA库Rob Farber 是西北太平洋国家实验室（Pacific Northwest National Laboratory）的高级科研人员。他在多个国家级的实验室进行大型并行运算的研究，并且是几个新创企业的合伙人。大家可以发邮件到rmfarber@...
分类：
其他好文 时间：
2014-09-19 18:52:15
阅读次数：
293
原文链接第九节：使用CUDA拓展高等级语言Rob Farber 是西北太平洋国家实验室（Pacific Northwest National Laboratory）的高级科研人员。他在多个国家级的实验室进行大型并行运算的研究，并且是几个新创企业的合伙人。大家可以发邮件到rmfarber@gmail....
分类：
其他好文 时间：
2014-09-19 17:26:06
阅读次数：
323
