“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第2期互动问答分享】Q1:新手学习spark如何入手才好?先学习Scala的内容,强烈推荐《快学Scala》;然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路(共3本书)”循序渐进的学习即可,其中“云计算分布..
分类:
其他好文 时间:
2014-09-10 14:20:40
阅读次数:
211
决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第3期互动问答分享】Q1:groupbykey是排好序的吗?分组排序怎么实现?groupByKey在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集,所以是没有排序的;要想分组排序,首先要使用groupByKey完成分..
分类:
其他好文 时间:
2014-09-10 14:19:51
阅读次数:
259
启动并查看集群的状况
第一步:启动Hadoop集群,这个在第二讲中讲解的非常细致,在此不再赘述:
启动之后在Master这台机器上使用jps命令,可以看到如下进程信息:
在Slave1 和Slave2上使用jps会看到如下进程信息:
第二步:启动Spark集群
在Hadoop集群成功启动的基础上,启动Spark集群需要使用Spark的sbin...
分类:
其他好文 时间:
2014-09-10 10:55:20
阅读次数:
225
本文简要介绍如何使用spark-cassandra-connector将json文件导入到cassandra数据库,这是一个使用spark的综合性示例。
分类:
Web程序 时间:
2014-09-06 15:59:03
阅读次数:
276
本文讲述如何使用datastax提供的spark-cassandra-connector来连接cassandra进行数据读取和更新。
分类:
其他好文 时间:
2014-09-02 22:35:15
阅读次数:
343
通过一个简明的Demo程序来说明如何使用scala中的PackratParsers
分类:
其他好文 时间:
2014-08-11 14:50:32
阅读次数:
214
Worker所起的作用有以下几个:
1. 接受Master的指令,启动或者杀掉Executor
2. 接受Master的指令,启动或者杀掉Driver
3. 报告Executor/Driver的状态到Master
4. 心跳到Master,心跳超时则Master认为Worker已经挂了不能工作了
5. 向GUI报告Worker的状态...
分类:
其他好文 时间:
2014-08-05 00:50:08
阅读次数:
364
Spark应用开发实践性非常强,很多时候可能都会将时间花费在环境的搭建和运行上,如果有一个比较好的指导将会大大的缩短应用开发流程。
本篇主要讲述如何运行KafkaWordCount,这个需要涉及Kafka集群的搭建,还是说越仔细越好。
分类:
其他好文 时间:
2014-08-02 23:13:04
阅读次数:
267