前言今天Spark最终跨出了里程碑的一步，1.0.0版本号的公布标志着Spark已经进入1.0时代。1.0.0版本号不仅增加了非常多新特性，而且提供了更好的API支持。Spark SQL作为一个新的组件增加，支持在Spark上存储和操作结构化的数据。已有的标准库比方ML、Streaming和Grap...
分类：
其他好文 时间：
2014-06-18 15:29:22
阅读次数：
208
MRv1
Storm
JobTracker
Nimbus
TaskTracker
Supervisor
Child
Worker
Job
Topology
Map/Reduce
Spout/Blot
shuffle
Stream grouping...
分类：
其他好文 时间：
2014-06-16 21:24:47
阅读次数：
228
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：
Spark应用程序的WebUI或者Spark Standalone的集群监控指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控辅助监控工具
1：WebUI
Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的4...
分类：
其他好文 时间：
2014-06-16 20:12:51
阅读次数：
325
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD，及其在内存上的容错，内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类：
其他好文 时间：
2014-06-14 20:42:37
阅读次数：
326
Apache Spark?is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么我们需要知道它解决了什么问题，还有是怎么解决这些问题的。
本文将带领你进入Spark的世界，首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出：通用，易用，高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式，交互式，实时查询，迭代...
分类：
其他好文 时间：
2014-06-14 11:57:03
阅读次数：
288
图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些常见图算法在Spark上的并行化实现，同时提供了丰富的API接口。本...
分类：
其他好文 时间：
2014-06-12 21:33:34
阅读次数：
427
主要包含4个章节：1. Java 领域的即时通信的解决方案2. 搭建 Openfire
服务器3. 使用客户端测试我们搭建的 Openfire 服务器4. Smack 和 ASmack一、Java领域的即时通信的解决方案
Java领域的即时通信的解决方案可以考虑openfire+spark+smac...
分类：
其他好文 时间：
2014-06-12 14:58:35
阅读次数：
405
1：Spark1.0.0属性配置方式
Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。
在Spark1.0.0提供了3种方式的属性配置：
SparkConf方式
SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用setMaster，...
分类：
其他好文 时间：
2014-06-10 14:47:43
阅读次数：
280
