Spark是一种与Hadoop相似的开源集群计算环境，是专为大规模数据处理而设计的快速通用的计算引擎，现已形成一个高速发展应用广泛的生态系统，主要应用场景如下： 1.Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小; 2.由于RDD的特性，Spark不适用
分类：
其他好文 时间：
2018-04-03 17:26:53
阅读次数：
116
说明 Bullet是一款开源的物理模拟计算引擎，包括刚体、柔体、弹性体等，是世界三大物理模拟引擎之一（包括Havok和PhysX），被广泛应用于游戏开发（GTA5等）和电影（2012等）制作中。 Bullet也见于计算机动画相关论文中，如流体模拟（Versatile Rigid-Fluid Coup ...
分类：
其他好文 时间：
2018-02-28 11:20:43
阅读次数：
232
Apache Spark 内存管理详解 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的 ...
分类：
Web程序 时间：
2018-02-09 20:38:42
阅读次数：
195
1、Spark是什么 Spark是一个用来实现快速而通用的集群计算的平台。 2、Spark是一个大一统的软件栈 Spark项目包含多个紧密集成的组件。首先Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。 Spark的个组件如 ...
分类：
其他好文 时间：
2018-02-07 12:09:32
阅读次数：
194
Spark内存管理机制 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Execut ...
分类：
其他好文 时间：
2018-02-03 16:21:39
阅读次数：
185
storm是一个分布式实时计算引擎 storm/Jstorm的安装、配置、启动差点儿一模一样 storm是twitter开源的 storm的特点 storm支持热部署，即时上限或下线app 能够在storm上使用各种编程语言如clojure、java、ruby、python等 本地模式：storm有 ...
分类：
其他好文 时间：
2018-01-17 21:59:04
阅读次数：
215
Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。
分类：
其他好文 时间：
2018-01-08 11:04:56
阅读次数：
350
根据一些公开资料整理，也许有失偏颇，仅供参考： 1.第一代 Hadoop 承载的 MapReduce 2.第二代 支持 DAG（有向无环图） 的框架： Tez 、 Oozie，主要还是还是批处理任务 3.第三代 Job 内部的 DAG（有向无环图） 支持（不跨越 Job），以及强调的实时计算：Spa ...
分类：
其他好文 时间：
2017-11-13 00:15:18
阅读次数：
242
https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/index.html 大数据计算引擎的发展 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都 ...
分类：
Web程序 时间：
2017-09-25 20:51:17
阅读次数：
301
ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再..
分类：
其他好文 时间：
2017-09-04 15:07:20
阅读次数：
137
