Apache Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理。Ignite 为应用和不同的数据源之间提供一个高性能、分布式内存中数据组织管理的框架。集群计算特性：动态集群Fork-Join & MapReduce 处理分布式闭包执行负载均衡和容错...
分类：
Web程序 时间：
2016-01-05 18:29:18
阅读次数：
226
1. 大数据目前代名词spark，是一个快速的集群计算系统，它的功能之一是streaming，支持实时的数据流，把实时数据流按时间变为离散数据流 discretized stream，其中每一个离散集合RDD resilient distributed dataset2. 计算函数包括：flatMa...
分类：
其他好文 时间：
2015-11-17 12:32:59
阅读次数：
121
1、 Spark VSHadoop有哪些异同点？ Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘和数据分析。 Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还...
分类：
其他好文 时间：
2015-09-22 14:30:26
阅读次数：
118
一、计算机集群1、什么是计算机集群计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可..
分类：
其他好文 时间：
2015-09-08 23:37:57
阅读次数：
454
摘要：
Tachyon是一种分布式文件系统，可以借助集群计算框架使得数据以内存的速度进行共享。当今的缓存技术优化了read过程，但是，write过程因为需要容错机制，就需要通过网络或者是磁盘进行复制操作。Tachyon通过将“血统”技术引入到存储层进而消除了这个瓶颈。创建一个长期的以“血统机制”为基础的存储系统的关键挑战是失败情况发生的时候及时地进行数据恢复。Tachyon通...
分类：
其他好文 时间：
2015-08-13 18:10:01
阅读次数：
203
本文转载：http://shiyanjun.cn/archives/744.html摘要本文提出了分布式内存抽象的概念——弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内...
分类：
其他好文 时间：
2015-08-09 13:52:01
阅读次数：
144
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark当下已成为Apache基金会的顶级开源项目，拥有着庞大的社区支持（活跃开发者人数已超过Ha...
分类：
其他好文 时间：
2015-07-06 19:18:38
阅读次数：
142
Spark简述Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足
于内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式。
特点：
1、轻
Spark 0.6核心代码有2万行，Hadoop1.0为9万行，2.0为22万行。2、快
Spark对小数据集能达到亚秒级的廷迟，这对于Hadoop MapReduce是无法想象的（由于”心跳”间隔机制，...
分类：
其他好文 时间：
2015-06-24 21:03:48
阅读次数：
412
概述：
Spark是一个基于内存计算的开源集群计算系统，目的是让数据分析更加快速。
Spark非常小巧玲珑，由加州伯克利大学AMP实验室的小团队开发。使用的语言
是Scala，项目的core部分的代码只有63个Scala文件。（AMP实验室名字有点意思：
Algorithm Machine People，算法、机器、人）
Spark是一种与Hado...
分类：
其他好文 时间：
2015-06-20 11:56:13
阅读次数：
131
本文是Spark调研笔记的最后一篇，以代码实例说明如何借助Spark平台高效地实现推荐系统CF算法中的物品相似度计算。
在推荐系统中，最经典的推荐算法无疑是协同过滤（Collaborative Filtering, CF），而item-cf又是CF算法中一个实现简单且效果不错的算法。
在item-cf算法中，最关键的步骤是计算物品之间的相似度。本文以代码实例来说明如何利用Spark平台快速计算...
分类：
其他好文 时间：
2015-06-10 15:47:17
阅读次数：
155
