简单的spark on yarn不需要什么额外的配置，只要?HADOOP_CONF_DIR和YARN_CONF_DIR配置在环境变量里，（然后spark standalone能跑起来，说明spark部署成功）。 启动spark的history server（spark on yarn日志监控...
分类：
其他好文 时间：
2015-09-21 19:49:55
阅读次数：
261
构造分布式的Spark1.0.2集群下载Scala 2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；安装和配置Scala我们需要在ma...
分类：
其他好文 时间：
2015-09-21 17:29:06
阅读次数：
221
hadoop2与hadoop1的配置有些许不同，最主要的是hadoop1里的master变成了yarn这篇文直接从hadoop的配置开始，因为系统环境和jdk和hadoop1都是一样的。hadoop1的配置链接，从第六步开始六、设置hadoop2参数进入 usr/local/hadoop/etc/h...
分类：
其他好文 时间：
2015-09-20 17:43:16
阅读次数：
222
hadoop2的安装教程Spark可以直接安装在hadoop2上面，主要是安装在hadoop2的yarn框架上面安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本，选择对应的Scala和jdkScala的安装就是解压缩，然后配置环境变量，将Scala的执行命令配置到Path...
分类：
其他好文 时间：
2015-09-20 17:31:56
阅读次数：
152
时间2015-06-05 00:00:00JavaChen's Blog原文http://blog.javachen.com/2015/06/05/yarn-memory-and-cpu-configuration.html主题YARNHadoop YARN同时支持内存和CPU两种资源的调度，本文介...
分类：
其他好文 时间：
2015-09-20 13:20:30
阅读次数：
182
筛选算法：关注度权重公式：W=TF*Log(N/DF)TF：当前关键字在该条记录中出现的总次数；N：总的记录数；DF：当前关键字在所有记录中出现的条数；HDFS的namenodeHA和namenodeFederation(1)解决单点故障：使用HDFSHA:通过主备namenode解决；如果主发生故障，则切换到备上。(2)解决..
分类：
其他好文 时间：
2015-09-19 06:18:41
阅读次数：
207
概述 yarn命令由bin/yarn下面的脚本调用。不带任何参数运行yarn脚本会打印所有命令的描述。 用法：?yarn [--config confdir] COMMAND yarn有一个选项解析框架作为运行类用于解析一般的选项。 命令选项 描述 --co...
分类：
其他好文 时间：
2015-09-14 17:03:02
阅读次数：
322
前言最近在排查公司Hadoop集群性能问题时,发现Hadoop集群整体处理速度非常缓慢,平时只需要跑几十分钟的任务时间一下子上张到了个把小时,起初怀疑是网络原因,后来证明的确是有一部分这块的原因,但是过了没几天,问题又重现了,这次就比较难定位问题了,后来分析hdfs请求日志和Ganglia的各项监控指标,发现namenode的挤压请求数持续比较大,说明namenode处理速度异常,然后进而分析出是...
分类：
其他好文 时间：
2015-09-13 21:43:11
阅读次数：
386
操作系统：windows 10IDEA ： IDEA 14.1.41：使用IDEA导入spark 1.5的源码，注意maven配置为自动导入2：在maven窗口下的profiles中勾选hadoop, hive ,hive-thriftserver,yarn的选项。3： 在maven窗口下勾选gen...
分类：
其他好文 时间：
2015-09-12 22:16:54
阅读次数：
274
这里以ethernet0/3为HA接口CLI命令行配置SSG-550M-1(M)setnsrpclusterid1setnsrprto-mirrorsyncsetnsrprto-mirrorroutesetnsrpvsd-groupid0priority50(配置vsd-groupid0优先级)setnsrpvsd-groupmaster-always-exist（配置总是有一台设备为MASTER）setnsrpmonitorinterfaceether..
分类：
其他好文 时间：
2015-09-10 17:46:40
阅读次数：
236
