Google对其的定义：MapReduce是一种变成模型，用于大规模数据集(以T为级别的数据)的并行运算。用户定义一个map函数来处理一批Key-Value对以生成另一批中间的Key-Value对，再定义一个reduce函数将所有这些中间的有相同Key的value合并起来。“Map”(映射)和“Re ...
分类：
其他好文 时间：
2017-08-06 15:07:59
阅读次数：
165
一.什么是GCD Grand Central Dispatch (强大的中枢调度器) ，是异步执行任务的技术之一。纯C语言，有很多强大的函数。 二.GCD的优势 （1）GCD是苹果公司为多核并行运算提供的解决方案。 （2）GCD会自动利用更多的CPU内核(双核，四核等)。 （3）GCD会自动管理线程 ...
分类：
移动开发 时间：
2017-06-16 18:29:24
阅读次数：
240
Actor模式最大的优点就是每个Actor都是一个独立的任务运算器。这种模式让我们很方便地把一项大型的任务分割成若干细小任务然后分配给不同的Actor去完成。优点是在设计时可以专注实现每个Actor的功能，在实际运算时由于每个Actor都在独立的线程里运行，能充分利用多核CPU的优势实现相似并行运算 ...
分类：
其他好文 时间：
2017-05-31 19:02:59
阅读次数：
304
硬解就是硬件解码，指利用GPU来部分代替CPU进行解码，软解就是软件解码，指利用软件让CPU来进行解码。两者的具体区别如下所示： 硬件解码：是将原来全部交由CPU来处理的视频数据的一部分交由GPU来做，而GPU的并行运算能力要远远高于CPU，这样可以大大的降低对CPU的负载，CPU的占用率较低了之后 ...
分类：
其他好文 时间：
2017-05-23 23:50:49
阅读次数：
161
GCD全称Grand Central Dispatch。可译为“大派发中枢调度器”，以纯C语言写成，提供了很多很强大的函数。GCD是苹果公司为多核的并行运算提出的解决方式，它能够自己主动利用很多其它的CPU内核来參与运算。会自己主动管理线程的生命周（创建线程、调度任务、销毁线程）。而程序猿仅仅须要告 ...
分类：
移动开发 时间：
2017-05-04 20:05:38
阅读次数：
179
Map-Reduce Map-Reduce是由Google在2004年提出的大数据并行编程架构。分为Map（映射）和Reduce（化简）两个步骤。因此得名。它隐藏并行化、容错、数据分布、负载均衡等细节，能够搭建在普通PC上，程序猿能够非常方便完毕大数据并行编程。 并行运算的效率 假如使用1个处理器花 ...
分类：
其他好文 时间：
2017-04-24 12:39:14
阅读次数：
175
在对上两篇讨论中我们介绍了并行运算的两种体现方式：并行构建数据源及并行运算用户自定义函数。我们分别对这两部分进行了示范。本篇我准备示范把这两种情况集成一体的并行运算模式。这次介绍的数据源并行构建方式也与前面描述的有所不同：在前面讨论里我们预知需要从三个独立流来并行构建数据源。但如果我们有一个不知长度 ...
分类：
其他好文 时间：
2017-03-31 18:07:37
阅读次数：
198
FunDA的并行运算施用就是对用户自定义函数的并行运算。原理上就是把一个输入流截分成多个输入流并行地输入到一个自定义函数的多个运行实例。这些函数运行实例同时在各自不同的线程里同步运算直至耗尽所有输入。并行运算的具体函数实例数是用fs2-nondeterminism的算法根据CPU内核数、线程池配置和 ...
分类：
其他好文 时间：
2017-03-30 19:02:48
阅读次数：
237
python由于本身的特质，不能实现真正的多核并行运算，但是有一些第三方库较好地模拟了在多核环境下的并行运算，例如pp包以及multiprocessing，那么哪种更能充分利用多核心呢？ 这里我简单做下对比，首先放上结论：multiprocessing是最优秀的。 在实测过程中，我的CPU是4核8线 ...
分类：
编程语言 时间：
2017-02-11 12:30:41
阅读次数：
369
