第四步修改配置文件slaves，如下所示：我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：第五步修改配置文件core-site.xml，如下所示：把core-site.xml文件的内容修改为：上述是core-site.xml文件的最小化配置，core-site.xml各项配置可..
分类：
其他好文 时间：
2014-10-10 17:15:24
阅读次数：
210
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。接下来在hadoop目录下按照如下命令创建文件夹：接下..
分类：
其他好文 时间：
2014-10-09 20:58:38
阅读次数：
216
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：
修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。
接下来在hadoop目录下按照如下命令创建文件夹：
\接下来开始...
分类：
其他好文 时间：
2014-10-09 16:17:18
阅读次数：
181
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第15期互动问答分享】Q1：AppClient和worker、master之间的关系是什么？:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应用程序的代表，要完成程序的registerApplication等功能；当程序完成..
分类：
其他好文 时间：
2014-10-08 17:59:06
阅读次数：
166
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】
Q1：AppClient和worker、master之间的关系是什么？
AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类：
其他好文 时间：
2014-10-08 16:47:15
阅读次数：
212
RDD是Spark最基本，也是最根本的数据抽象。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf 是关于RDD的论文。如果觉得英文阅读太费时间，可以看这篇译文：http://shiyanjun.cn/archives/744.html
本文也是基于这篇论文和源码，分析RDD的实现。
第一个问题，RDD是什么？Resilient Distributed Datasets（RDD，） 弹性分布式数据集。RDD是只读的、分区记录的集合。RD...
分类：
其他好文 时间：
2014-10-07 18:59:34
阅读次数：
331
使用ZK作为HA方案的Master是如何快速故障恢复的呢？本文为你详细解读。最后给出的流程图，可以清楚的理解恢复过程的数据流程和处理逻辑。...
分类：
其他好文 时间：
2014-10-05 05:11:27
阅读次数：
252
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。...
分类：
其他好文 时间：
2014-10-05 03:14:47
阅读次数：
258
SparkContext是开发Spark应用的入口，它负责和整个集群的交互，包括创建RDD，accumulators and broadcast variables。理解Spark的架构，需要从这个入口开始。...
分类：
其他好文 时间：
2014-10-01 22:56:01
阅读次数：
276
根据论坛上的信息，在Sparkrelease计划中，在Spark 1.3中有将SparkR纳入到发行版的可能。本文就提前展示一下如何安装及使用SparkR.
分类：
其他好文 时间：
2014-09-28 23:55:56
阅读次数：
300
