启动并查看集群的状况
第一步：启动Hadoop集群，这个在第二讲中讲解的非常细致，在此不再赘述：
启动之后在Master这台机器上使用jps命令，可以看到如下进程信息：
在Slave1 和Slave2上使用jps会看到如下进程信息：
第二步：启动Spark集群
在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin...
分类：
其他好文 时间：
2014-09-10 10:55:20
阅读次数：
225
安装SparkMaster、Slave1、Slave2这三台机器上均需要安装Spark。首先在Master上安装Spark，具体步骤如下：第一步：把Master上的Spark解压：我们直接解压到当前目录下：此时，我们创建Spark的目录“/usr/local/spark”:把解压后的“spark-1...
分类：
其他好文 时间：
2014-09-09 15:36:49
阅读次数：
137
安装Spark ? Master、Slave1、Slave2这三台机器上均需要安装Spark。 首先在Master上安装Spark，具体步骤如下： 第一步：把Master上的Spark解压： 我们直接解压到当前目录下： 此时，我们创建Spark的目录“/usr/...
分类：
其他好文 时间：
2014-09-09 13:52:59
阅读次数：
167
第一步：Spark集群需要的软件； ?在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，需...
分类：
其他好文 时间：
2014-09-04 12:01:39
阅读次数：
310
首先修改Master的core-site.xml文件，此时的文件内容是：我们把“localhost”域名修改为“Master”:同样的操作分别打开Slave1和Slave2节点core-site.xml，把“localhost”域名修改为“Master”。其次修改Master、Slave1、Slav...
分类：
其他好文 时间：
2014-09-02 13:48:14
阅读次数：
131
首先修改Master的core-site.xml文件，此时的文件内容是： 我们把“localhost”域名修改为“Master”: 同样的操作分别打开Slave1和Slave2节点core-site.xml，把“localhost”域名修改为“Master”。 其次修改Maste...
分类：
其他好文 时间：
2014-09-02 12:41:35
阅读次数：
225
算法一：快速排序算法 快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序?n?个项目要Ο(n?log?n)次比较。在最坏状况下则需要Ο(n2)次比 较，但这种状况并不常见。事实上，快速排序通常明显比其...
分类：
其他好文 时间：
2014-09-02 10:42:44
阅读次数：
278
进入第二台机器，看一下这台主机的IP地址： 可以看出这台主机的IP地址是“192.168.184.131”. 我们在/etc/hostname中把主机名称修改为“Slave1”: 保存退出。 为了使修改生效，我们重新启动该机器，此时查看主机名...
分类：
其他好文 时间：
2014-09-01 10:56:13
阅读次数：
194
进入第二台机器，看一下这台主机的IP地址：可以看出这台主机的IP地址是“192.168.184.131”.我们在/etc/hostname中把主机名称修改为“Slave1”:保存退出。为了使修改生效，我们重新启动该机器，此时查看主机名：表明我们的修改生效了。进入第三台机器，看一下这台主机的IP地址：...
分类：
其他好文 时间：
2014-09-01 10:42:12
阅读次数：
157
Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈 大数据的概念与应用，正随着智能手机、平板电脑的快速流行而日渐普及，大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务，地图等领域。对于图计算的两个核心问题：图存储模式和图计算模型，Spark Graph...
分类：
其他好文 时间：
2014-08-29 17:55:48
阅读次数：
338
