给大家分享一下Spark是什么?如何用Spark进行数据分析，对大数据感兴趣的小伙伴就随着小编一起来了解一下吧。 大数据在线学习 什么是Apache Spark? Apache Spark是一个为速度和通用目标设计的集群计算平台。 从速度的角度看，Spark从流行的MapReduce模型继承而来，可 ...
分类：
其他好文 时间：
2018-10-14 16:31:47
阅读次数：
101
现如今，数据增长速度快于处理速度，唯一的解决方案是在大型集群上并行化，而且这种技术以及广泛应用于企业和网络行业。本章主要内容有：讲解数据流与传统的网络编程的区别、MapReduce的局限性、Spark computing engine、Matrix operations on Spark等。 资源下 ...
分类：
其他好文 时间：
2018-10-09 13:56:37
阅读次数：
146
Master Worker模式是常用的并行模式之一。它的核心思想是，系统由两类进程协作工作：Master进程和Worker进程。Master进程负责接收和分配任务，Worker进程负责处理子任务。当各个Worker进程将子任务处理完成后，将结果返回给Master进程，由Master进程做归纳和汇总， ...
分类：
其他好文 时间：
2018-09-24 17:01:10
阅读次数：
308
基数排序是比较适合并行化的排序算法之一，因为它不需要他的元素和数组当中的其他元素去进行一一对比来决定放的位置。另外还有比较适合并行化的就是双调排序。 基数排序原理 以从小到大，一次排序只考虑一位为例。基数排序一般从数据的最低有效位（LSB）开始进行排序，即考察所有的数据的当前位，其当前位为0的数据放 ...
分类：
编程语言 时间：
2018-09-15 23:20:48
阅读次数：
983
1.MapReduce编程模型概述 MapReduce编程模型给出了分布式的编程方法，总共分为5个步骤。分为这5个步骤的优点：组件化和并行化 (1)迭代。遍历输入数据，并将其解析成key/value键值对 (2)将输入的key/value对映射(map)成另外一些key/value对 (3)依据ke ...
分类：
其他好文 时间：
2018-09-15 14:35:05
阅读次数：
168
原文地址：https://blog.csdn.net/magicbean2/article/details/75174859 并行计算简介 （本人刚刚完成这篇长文章的翻译，尚未认真校对。若里面有翻译错误和打字错误敬请谅解，并请参考原贴） 1 摘要 最近项目需要实现程序的并行化，刚好借着翻译这篇帖子的 ...
分类：
其他好文 时间：
2018-08-30 16:52:12
阅读次数：
353
本文来自网易云社区 概述 并发往往和并行一起被提及，但是我们应该明确的是“并发”不等同于“并行” ? 并发 ：同一时间 对待 多件事情 （逻辑层面） ? 并行 ：同一时间 做(执行) 多件事情 (物理层面) 并发可以构造出一种问题解决方法，该方法能够被用于并行化，从而让原本只能串行处理的事务并行化， ...
分类：
其他好文 时间：
2018-08-28 15:30:28
阅读次数：
170
本文来自网易云社区 概述 并发往往和并行一起被提及，但是我们应该明确的是“并发”不等同于“并行” ? 并发 ：同一时间 对待 多件事情 （逻辑层面） ? 并行 ：同一时间 做(执行) 多件事情 (物理层面) 并发可以构造出一种问题解决方法，该方法能够被用于并行化，从而让原本只能串行处理的事务并行化， ...
分类：
其他好文 时间：
2018-08-28 15:25:21
阅读次数：
170
【摘要】为了提高超声弹性成像计算速度,提出使用GPU硬件加速基于互相关技术和相位零估计的弹性成像技术。先描述这两种弹性成像技术的实现细节及特点,然后分析这两种技术的计算密集操作部分的并行化计算可能性,最后通过GPU程序开发工具ArrayFire实现了基于GPU的互相关和相位零估计的超声弹性成像技术。 ...
分类：
其他好文 时间：
2018-08-22 18:27:37
阅读次数：
163
1，rdd的转换和行动操作 2，创建rdd的2种方式 1，通过hdfs支持的文件系统，没有真正把数据放rdd，只记录了一下元数据 2，通过scala的集合或者数组并行化的创建rdd 3，rdd的5大特点 1，rdd是分区的，可以指定分区数 2，算子的方法都会作用在每个分区 3，rdd之前有一系列的依 ...
分类：
其他好文 时间：
2018-08-18 21:13:41
阅读次数：
163
