RDD渊源弹性分布式数据集(RDD)，它是MapReduce模型一种简单的扩展和延伸，RDD为了实现迭代、交互性和流查询等功能，需要保证RDD具备在并行计算阶段之间能够高效地数据共享的功能特性。RDD运用高效的数据共享概念和类似于MapReduce的操作方式，使得所有的计算工作可以有效地执行，并可以在当前特定的系统中获得关键性的优化。RDD是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式...
分类：
其他好文 时间：
2015-07-14 20:29:36
阅读次数：
111
http://tech.uc.cn/?p=2116概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于M...
分类：
其他好文 时间：
2015-07-02 17:24:03
阅读次数：
135
0、准备知识超线程技术(Hyper-Threading)：就是利用特殊的硬件指令，把两个逻辑内核(CPU core)模拟成两个物理芯片， 让单个处理器都能使用线程级并行计算，进而兼容多线程操作系统和软件，减少了CPU的闲置时间，提高的CPU的运行效率。物理CPU:机器上安装的实际CPU, 比如...
分类：
系统相关 时间：
2015-07-02 11:50:08
阅读次数：
214
这一篇呢，主要介绍其实现机理。当然，秉承偶的一向的观点，让新手也能看得懂。首先看工作的接口：12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565...
分类：
其他好文 时间：
2015-07-01 11:45:12
阅读次数：
142
问题来源非常感谢@doctorwho的问题：假如职业介绍所来了一批生产汽车的工作，假设生产一辆汽车任务是这样的：搭好底盘、拧4个轮胎、安装发动机、安装4个座椅、再装4个车门、最后安装顶棚。之间有的任务是可以并行计算的（比如拧4个轮胎，安装发动机和安装座椅），有的任务有前置任务（比如先装好座椅，才能装...
分类：
其他好文 时间：
2015-07-01 11:39:07
阅读次数：
95
呵呵，昨天看到两新粉，一激动，就想着今天来写这篇文章。其实一直在关注这个领域，但是一直没有信心来写，所以一直期望着有一个开源的来用。看到了彭渊大师的淘宝分布式框架Fourinone介绍，确实有一种相见恨晚的感觉，于是就准备去研究一番，详细见本人的感想文章由fourinone初步学习想到的，确实来说，...
分类：
其他好文 时间：
2015-07-01 11:33:10
阅读次数：
101
在当前计算机应用中，对高速并行计算的需求是广泛的，归纳起来，主要有三种类型的应用需求：
计算密集(Computer-Intensive)型应用，如大型科学工程计算与数值模拟；
数据密集(Data-Intensive)型应用，如数字图书馆、数据仓库、数据挖掘和计算可视化等；
网络密集(Network-Intensive)型应用，如协同工作、遥控和远程医疗诊断等。...
分类：
其他好文 时间：
2015-06-30 13:05:47
阅读次数：
135
在Tiny的并行计算中，引用了远程方法调用工程，就是这里说的TinyRMI，当时在写测试用例的时候，只是在单机进行了测试，一切安好，但是Dawn在使用时，在多机进行试用，结果就出现了问题，最后花了不下一人周，才解决了Dawn发现的问题，最终解决了问题，也发现了RMI中的一些坑。可能有的人已经走过了，...
分类：
其他好文 时间：
2015-06-30 12:46:11
阅读次数：
106
这次来聊聊clojure的并行与并发，如果你还不知clojure为何物，请翻翻我的上一篇推文。“并行”是指clojure对并行计算的支持（parallel computing），“并发”是其并发特性（concurrency）。用通俗的话来说，“并行”是同一时间做多件事情，“并发”是同一时间应对多件事...
分类：
其他好文 时间：
2015-06-28 17:26:48
阅读次数：
1161
一、神马是高大上的MapReduce MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，....
分类：
其他好文 时间：
2015-06-28 09:45:37
阅读次数：
154
