近年来，关于大数据讨论已然是热火朝天，虽不说是家喻户晓，那至少对于业界来说也是引起了轩然大波。作为学生党的我，最近也在研究关于大数据的东东。作为一个技术迷，总是会想尝试一些新鲜的东西。前一段时间学习了Hadoop之后，又想看看Spark是什么东东。那么在这里有必要八卦一下Spark了。
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算，从多迭代批量处理出发，兼...
分类：
其他好文 时间：
2015-05-30 21:15:29
阅读次数：
15212
spark 是一个快速的通用集群计算系统。它提供了丰富的高水平的api供java，scala和python调用。...
分类：
其他好文 时间：
2015-05-27 15:51:42
阅读次数：
107
1.简介 Spark 是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速，由加州大学伯克利分校 AMP 实验室 (Algorithms,Machines,and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。spark-sql还能提供比较完整的sql的功能....
分类：
其他好文 时间：
2015-05-21 22:29:03
阅读次数：
201
1、spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。因此运行spark的机器应该尽量的大内存，如96G以上。
2、spark所有操作均基于RDD，操作主要分成2大类：transformation与action。
3、spark提供了交互处理接口，类似于shell的使用。
4、spark可以优化迭代工作负载，因为中间数据均保存于内存中。
5、spark 是在 Sc...
分类：
其他好文 时间：
2015-04-28 14:12:04
阅读次数：
128
【适用场景不同】 Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析 Spark:是一个基于内存计算的开源的集群计算系统，那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内...
分类：
其他好文 时间：
2015-04-12 22:21:15
阅读次数：
541
世界上某些最快的计算机是集群组成的。集群是有多个计算机通过高速网络连接起来的一个计算系统。集群计算机比单台计算机可以达到更高的可用性，可靠性和伸缩性。随着对基于GPU的高性能计算采用越来越广，英伟达GPU逐渐成为世界上最厉害的超级计算集群的一部分。世界前500的超级计算机中，包括差不多50个采用了英伟达的的GPU，并且目前世界上最快的计算机泰坦，使用了大约18000个英伟达开普勒GPU。在这个帖子中...
分类：
其他好文 时间：
2015-03-03 00:00:49
阅读次数：
645
随着国内云主机技术日趋成熟，云主机的优势越来越明显，用户对云主机的态度也由观望变为乐于尝试。国内各大云主机商也放低姿态，产品设置和定价上逐渐迎合个人用户和中小型企业用户的需求。云主机的诸多好处：集群计算、处理能力可弹性伸缩、分布式存储、故障率低，部署快速，性能更稳定，能够有效降低开发维护的难度和整体...
分类：
其他好文 时间：
2015-01-29 12:29:23
阅读次数：
227
Introduction
DPark是豆瓣开发的基于Mesos的开源分布式计算框架，是spark的python版克隆，Davids的作品，Beandb作者。是豆瓣刚开源的集群计算框架，类似于MapReduce，但是比其更灵活，可以用Python非常方便地进行分布式计算，并且提供了更多的功能以便更好的进行迭代式计算。DPark的计算模型是基于两个中心思想的：对分布式数据集的并行计算以及一些有...
分类：
编程语言 时间：
2015-01-28 19:47:43
阅读次数：
281
Spark 是一种与 Hadoop 相似的开源集群计算环境,不过最近非常火.下面介绍安装步骤.1 安装scala 1.1 我选用的是2.11.4,下载地址http://www.scala-lang.org/download/ 1.2 解压到文件夹tar -xzvf scala-2.11.4.tg.....
分类：
系统相关 时间：
2015-01-13 12:10:16
阅读次数：
261
Spark与Hadoop MapReduce均为开源集群计算系统，但是两者适用的场景并不相同。其中，Spark基于内存计算实现，可以以内存速度进行计算，优化工作负载迭代过程，加快数据分析处理速度；Hadoop MapReduce以批处理方式处理数据，每次启动任务后，需要等待较长时间才能获得结果。在机器学习和数据库查询等数据计算过程中，Spark的处理素的可以达到Hadoop
MapReduce...
分类：
其他好文 时间：
2014-12-31 16:26:30
阅读次数：
136
