【时间】2014年11月18日【平台】Centos 6.5【工具】scp【软件】jdk-7u67-linux-x64.rpm spark-worker-1.1.0+cdh5.2.0+56-1.cdh5.2.0.p0.35.el6.noarch.rpm spark-core-1.1.0+c...
分类：
其他好文 时间：
2014-11-18 17:22:52
阅读次数：
515
声明:本文基于spark的programming guide,并融合自己的相关理解整理而成
Spark应用程序总是包含着一个driver program(驱动程序),它执行着用户的main方法,并且执行大量的并行操作(parallel operations)在集群上.
概述
Spark最主要的抽象就是RDD(resilient di...
分类：
其他好文 时间：
2014-11-18 14:51:18
阅读次数：
176
前言http://blog.csdn.net/shimiso/article/details/8816558Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用...
分类：
系统相关 时间：
2014-11-18 13:12:55
阅读次数：
379
配置三个节点的spark集群，集群模式为standalone模式，其中sp1节点作为主节点，sp2节点和sp3节点为从节点。***注意所有操作均为root用户。 创建3个CentOS虚拟机，如下： sp1 192.168.1.21 //master节点 sp2 192.168.1.22 //slav...
分类：
其他好文 时间：
2014-11-18 11:43:26
阅读次数：
237
第二步：构造分布式的Spark1.0.2集群1,下载Scala2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；2，安装和配置Scala...
分类：
其他好文 时间：
2014-11-17 22:39:09
阅读次数：
213
本文就spark-cassandra-connector的一些实现细节进行探讨，主要集中于如何快速将大量的数据从cassandra中读取到本地内存或磁盘。
分类：
Web程序 时间：
2014-11-17 22:33:25
阅读次数：
492
在SparkWorker1?和SparkWorker2上使用jps会看到如下进程信息： 第二步：启动Spark集群 在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”： 此时的SparkWorker1和SparkWo...
分类：
其他好文 时间：
2014-11-17 21:23:05
阅读次数：
184
也可以查看一下SparkWorker2上的运行情况：我们点击具体的Container查看其信息：程序运行结束后我们可以执行一下命令查看运行结果：也可通过HDFS控制台查看运行结果：可以通过Web控制的JobHistory查看历史工作记录：点击最近运行的WordCount作业进入历史作业详情：发现我们...
分类：
其他好文 时间：
2014-11-17 21:01:18
阅读次数：
164
在SparkWorker1和SparkWorker2上使用jps会看到如下进程信息：第二步：启动Spark集群在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”：此时的SparkWorker1和SparkWorker2会出现新的进程“...
分类：
其他好文 时间：
2014-11-17 21:01:04
阅读次数：
182
当我们在运行作业的过程中也可以查看Web控制台的信息：此时发现了一个作业ID，点击进入可以查看作业进一步的信息：进一步看通过Web控制台看SparkWorker1中的Container中的运行信息：刷新Web控制台：
分类：
其他好文 时间：
2014-11-17 20:58:21
阅读次数：
137
