一. 什么是Spark？
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需...
分类：
其他好文 时间：
2016-03-18 14:46:44
阅读次数：
318
下面是 StuQ 发布的大数据技能图谱，比较实用，供参考 大数据处理框架 Spark - RDD - Spark SQL - Spark Streaming - MLLibHadoop - HDFS (分布式文件系统) - Mapreduce（计算框架） - Yarn（资源管理平台） - Pig
分类：
其他好文 时间：
2016-03-14 09:28:47
阅读次数：
173
一、Hadoop是什么？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop框架最核心的设计包含两个方面，一是分布式文件系统（Hadoop Distributed File System），简称HDFS；二是分布式计算框架MapReduce。简单来说，HDFS为海量的数据
分类：
其他好文 时间：
2016-03-11 13:46:40
阅读次数：
186
Storm作为当前最流行的实时计算框架，自Twitter将其开源后就一直备受关注。由于其具有先天的稳定性以及便捷性，目前被许多大公司所采用，国外像雅虎、雅虎日本、Twitter、OOYALA、Spotify，国内像京东、腾讯、阿里等都使用Storm来完成大量实时计算来为用户提供优质服务。目前官方的最
分类：
其他好文 时间：
2016-03-07 01:09:59
阅读次数：
281
一、Spark框架预览 主要有Core、GraphX、MLlib、Spark Streaming、Spark SQL等几部分。 GraphX是进行图计算与图挖掘，其中主流的图计算框架现在有：Pregal、HAMA、Giraph（这几部分采用超步即同步的方式），而GraphLab与Spark Grap
分类：
其他好文 时间：
2016-03-04 09:17:57
阅读次数：
391
转载自知乎：https://www.zhihu.com/question/26568496 1） MapReduce:是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行 处理，非常适合数据密集型计算。 2） Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapR
分类：
其他好文 时间：
2016-02-29 19:45:17
阅读次数：
131
前段时间在应用WCF做一个分布式的计算框架，真是走一步一个坑，慢慢的都是泪啊，记录下来，供参考，以避免以后再走同样的弯路 1：参数传值不能用字典表 由于我的计算是要往wcf中传递好几个字典表，在往WCF服务中传递参数时，是无法使用字典表来进行传输的，需要序列化成json格式才行，datatable格
分类：
其他好文 时间：
2016-01-27 19:20:23
阅读次数：
146
Hadoop 是 Apache 下一个开源的分布式的软件计算框架，它是由Doug Cutting根据 Google提出的分布式文件系统 GFS 和 MapReduce 编程模型而实现的。Hadoop 由许多部分组成，其核心是用于数据存储的分布式文件系统HDFS与用于分布式计算的 MapReduce....
分类：
其他好文 时间：
2016-01-26 21:48:01
阅读次数：
303
Hadoop是什么？hadoop是一个存储系统+计算框架的！主要解决海量数据存储与计算的问题。Hortonworks首席技术官Eric Baldeschwieler在2012年的Hadoop和大数据峰会上提到过：2015年，全球一半数据中都将通过Hadoop来处理。我们已经看到越来越多的数据都在往H...
分类：
其他好文 时间：
2016-01-26 18:20:47
阅读次数：
257
不可变基础设施如何更好地使用容器技术实现不可变基础设施TachyonTachyon简介南京大学PASA大数据实验室SPARK/TACHYON:基于内存的分布式存储系统Spark on Yarn
搭建spark on yarn集群全过程 —— 可与 3 形成参考
Spark on Yarn
Spark On YARN 集群安装部署 —— 推荐
1) 配置Hadoop Yarn集群时出现的问题及修复：在...
分类：
其他好文 时间：
2016-01-20 13:23:01
阅读次数：
180
