1.环境OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive：0.11.0JDK:1.7.0_60Spark:1.1.0（内置SparkSQL）Scala:2.11.22.Spark集群规划账...
分类：
数据库 时间：
2014-10-09 01:49:27
阅读次数：
306
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 ? Q1：AppClient和worker、master之间的关系是什么？ :AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器...
分类：
其他好文 时间：
2014-10-08 23:23:57
阅读次数：
335
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第15期互动问答分享】Q1：AppClient和worker、master之间的关系是什么？:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应用程序的代表，要完成程序的registerApplication等功能；当程序完成..
分类：
其他好文 时间：
2014-10-08 17:59:06
阅读次数：
166
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】
Q1：AppClient和worker、master之间的关系是什么？
AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类：
其他好文 时间：
2014-10-08 16:47:15
阅读次数：
212
RDD是Spark最基本，也是最根本的数据抽象。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf 是关于RDD的论文。如果觉得英文阅读太费时间，可以看这篇译文：http://shiyanjun.cn/archives/744.html
本文也是基于这篇论文和源码，分析RDD的实现。
第一个问题，RDD是什么？Resilient Distributed Datasets（RDD，） 弹性分布式数据集。RDD是只读的、分区记录的集合。RD...
分类：
其他好文 时间：
2014-10-07 18:59:34
阅读次数：
331
java代码：注：打包的时候一个依赖jar都不要。import java.util.Arrays;import java.util.List;import java.util.regex.Pattern;import org.apache.hadoop.io.IntWritable;import o...
分类：
其他好文 时间：
2014-10-07 14:59:43
阅读次数：
200
Apache Spark1.1.0部署与开发环境搭建 - Mark Lin0. 准备出于学习目的，本文将Spark部署在虚拟机中。在虚拟机中，需要安装以下软件：Ubuntu 14.04hadoop-2.4.0.tar.gzjdk-7u67-linux-x64.tar.gzscala-2.10.4.t...
分类：
其他好文 时间：
2014-10-05 16:47:28
阅读次数：
588
使用ZK作为HA方案的Master是如何快速故障恢复的呢？本文为你详细解读。最后给出的流程图，可以清楚的理解恢复过程的数据流程和处理逻辑。...
分类：
其他好文 时间：
2014-10-05 05:11:27
阅读次数：
252
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。...
分类：
其他好文 时间：
2014-10-05 03:14:47
阅读次数：
258
Spark亚太研究院决胜大数据时代公益大讲坛第五期：SparkSQL架构和案例深入实战，视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱：18610086...
分类：
数据库 时间：
2014-10-05 00:48:27
阅读次数：
713
