spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注：spark?on?yarn是不需要启动spark集群的，只需要在提交任...
分类：
其他好文 时间：
2014-09-04 19:36:00
阅读次数：
562
1.部署环境OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive：0.11.0JDK:1.7.0_60Python:2.6.6(spark集群需要python2.6以上，否则无法在spark集...
分类：
其他好文 时间：
2014-09-04 18:59:49
阅读次数：
267
第一步：Spark集群需要的软件； ?在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，需...
分类：
其他好文 时间：
2014-09-04 12:01:39
阅读次数：
310
首先修改Master的core-site.xml文件，此时的文件内容是：我们把“localhost”域名修改为“Master”:同样的操作分别打开Slave1和Slave2节点core-site.xml，把“localhost”域名修改为“Master”。其次修改Master、Slave1、Slav...
分类：
其他好文 时间：
2014-09-02 13:48:14
阅读次数：
131
首先修改Master的core-site.xml文件，此时的文件内容是： 我们把“localhost”域名修改为“Master”: 同样的操作分别打开Slave1和Slave2节点core-site.xml，把“localhost”域名修改为“Master”。 其次修改Maste...
分类：
其他好文 时间：
2014-09-02 12:41:35
阅读次数：
225
进入第二台机器，看一下这台主机的IP地址： 可以看出这台主机的IP地址是“192.168.184.131”. 我们在/etc/hostname中把主机名称修改为“Slave1”: 保存退出。 为了使修改生效，我们重新启动该机器，此时查看主机名...
分类：
其他好文 时间：
2014-09-01 10:56:13
阅读次数：
194
进入第二台机器，看一下这台主机的IP地址：可以看出这台主机的IP地址是“192.168.184.131”.我们在/etc/hostname中把主机名称修改为“Slave1”:保存退出。为了使修改生效，我们重新启动该机器，此时查看主机名：表明我们的修改生效了。进入第三台机器，看一下这台主机的IP地址：...
分类：
其他好文 时间：
2014-09-01 10:42:12
阅读次数：
157
在VMWare 中准备第二、第三台运行Ubuntu系统的机器； ? 在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。 与安装第一台Ubuntu机器不同的几点是： 第一点：我们把第二、三台...
分类：
其他好文 时间：
2014-08-28 17:04:31
阅读次数：
264
执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示： 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在，在我们刚刚构建的伪分布式模式下运行wordcount程序： 运行完成后我们查看一下输出的结...
分类：
其他好文 时间：
2014-08-27 13:13:48
阅读次数：
314
执行文件拷贝操作拷贝后的“input”文件夹的内容如下所示：和我们的hadoop安装目录下的“conf”文件的内容是一样的。现在，在我们刚刚构建的伪分布式模式下运行wordcount程序：运行完成后我们查看一下输出的结果：部分统计结果如下：此时我们到达Hadoop的web控制台会发现我们提交并成功的...
分类：
其他好文 时间：
2014-08-27 12:49:47
阅读次数：
236
