一、准备 上传apache-hive-1.2.1.tar.gz和mysql--connector-java-5.1.6-bin.jar到node01 cd /tools tar -zxvf apache-hive-1.2.1.tar.gz -C /ren/ cd /ren mv apache-hiv ...
分类：
数据库 时间：
2016-12-24 20:14:42
阅读次数：
257
如果运行Spark集群时状态一直为Accepted且不停止不报错，比如像下面这样的情况： 一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。解决这个问题，只需要更改Hadoop的配置文件：/etc/hadoop/conf/capacity-sched ...
分类：
编程语言 时间：
2016-12-18 20:58:47
阅读次数：
353
1、首先应该了解，spark集群基于Zookeeper的HA实现 当master挂了之后，会重新ElectLeader，不会影响Application的运行。默认的Zookeeper"/spark"目录下，会持久化driver，worker，master等信息。 2、Application需要重新s ...
分类：
其他好文 时间：
2016-12-09 10:35:10
阅读次数：
310
在Hadoop集群里，有三种模式: 1、本地模式 2、伪分布模式 3、全分布模式 在Spark集群里，有四种模式： 1、local单机模式 结果xshell可见： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --maste ...
分类：
其他好文 时间：
2016-11-23 10:10:39
阅读次数：
335
上篇文章中讲完了如何配置免密码登录的问题，现在讲述下，三个节点的环境配置过程。所需要的hadoop-2.7.3.tar.gz、jdk-7u79-linux-x64.tar.gz、scala-2.11.6.tgz、spark-2.0.1-bin-hadoop2.7.tgz可以点击这里获取，资源存放在百度云盘。首先需要在三个节点中分别创建spark目录m..
分类：
其他好文 时间：
2016-11-18 07:59:15
阅读次数：
379
（二）配置ssh无密码访问集群机器master节点root@master:/home#su-spark
spark@master:~$
spark@master:~$ssh-keygen-trsa
#一直enter键spark@master:~$cd.ssh/
spark@master:~/.ssh$ls
id_rsaid_rsa.pub
spark@master:~/.ssh$catid_rsa.pub>authorized_keys
spark@master:~..
分类：
其他好文 时间：
2016-11-17 02:38:01
阅读次数：
190
注：其中也参考了网上的许多教程，但很多网上的教程在配置过程中，会出很多错误，在解决的过程中，做出了总结。此文是针对小白。如有不对，请大神们指教。。。。配置环境系统：Ubuntu16.04配置版本分别为：hadooop2.7.3、java"1.7.0_79"、Scala2.11.6、spark-2.0.1-bin-hadoop2..
分类：
其他好文 时间：
2016-11-17 02:33:03
阅读次数：
362
如何在Spark集群的work节点上启动多个Executor?默认情况下，Spark集群下的worker，只会启动一个Executor，只运行了一个CoarseGrainedExecutorBackend进程。Worker通过持有ExecutorRunner对象来控制CoarseGrainedExecutorBackend的启停。那么如何启动多个executor呢？通过设置参..
分类：
其他好文 时间：
2016-11-13 02:45:10
阅读次数：
4143
前言 加快创建hadoop或spark集群，方法有两种途径：克隆或复制。其实啊，我最近，再返回写下本博文，理清下思路。 比如，你在你的一台电脑里，安装虚拟机。已经搭建好了hadoop或spark集群。为了省时间，同时也我为了亲身动手实践这一环节。 比如啊，我在另外一台电脑里安装好了。克隆或复制如Ha ...
分类：
系统相关 时间：
2016-11-13 01:50:55
阅读次数：
268
前言 说明的是，本博文，是在以下的博文基础上，立足于它们，致力于我的大数据领域！ http://kongcodecenter.iteye.com/blog/1231177 http://blog.csdn.net/u010376788/article/details/51337312 http:// ...
分类：
编程语言 时间：
2016-11-11 23:07:29
阅读次数：
350
