Spark Scheduler 模块的文章中，介绍到 Spark 将底层的资源管理和上层的任务调度分离开来，一般而言，底层的资源管理会使用第三方的平台，如 YARN 和 Mesos。为了方便用户测试和使用，Spark 也单独实现了一个简单的资源管理平台，也就是本文介绍的 Deploy 模块。一些有经...
分类：
其他好文 时间：
2015-10-06 14:06:51
阅读次数：
369
首先打开hadoop,$ sbin/start-dfs.sh$sbin/start-yarn.sh执行一下jps 命令看一下.ok,各任务都正常。上次已经验证过了word count。注意每次生成都需要把上次的输出的文件夹删掉。现在开始做hdfs的实验。http://blog.csdn.net/bi...
分类：
其他好文 时间：
2015-10-05 14:18:33
阅读次数：
153
一. YARN的理解YARN是Hadoop 2.x版本的产物，它最基本的设计思想是将JobTracker的两个主要功能，即资源管理，作业调度和监控分解成为两个独立的进程。再详细介绍Spark程序工作过程前，先简单的介绍一下YARN，即Hadoop的操作系统，不仅支持MapReduce计算框架，而且还...
分类：
其他好文 时间：
2015-10-03 14:24:08
阅读次数：
288
YARN为了实现多个状态机的对象，控制ResourceManager中间RMAppImpl、RMApp-AttemptImpl、RMContainerImpl和RMNodeImpl，NodeManager中的ApplicationImpl、ContainerImpl和LocalizedResourc...
分类：
其他好文 时间：
2015-09-30 14:30:54
阅读次数：
326
简单的spark on yarn不需要什么额外的配置，只要?HADOOP_CONF_DIR和YARN_CONF_DIR配置在环境变量里，（然后spark standalone能跑起来，说明spark部署成功）。 启动spark的history server（spark on yarn日志监控...
分类：
其他好文 时间：
2015-09-21 19:49:55
阅读次数：
261
构造分布式的Spark1.0.2集群下载Scala 2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；安装和配置Scala我们需要在ma...
分类：
其他好文 时间：
2015-09-21 17:29:06
阅读次数：
221
hadoop2与hadoop1的配置有些许不同，最主要的是hadoop1里的master变成了yarn这篇文直接从hadoop的配置开始，因为系统环境和jdk和hadoop1都是一样的。hadoop1的配置链接，从第六步开始六、设置hadoop2参数进入 usr/local/hadoop/etc/h...
分类：
其他好文 时间：
2015-09-20 17:43:16
阅读次数：
222
hadoop2的安装教程Spark可以直接安装在hadoop2上面，主要是安装在hadoop2的yarn框架上面安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本，选择对应的Scala和jdkScala的安装就是解压缩，然后配置环境变量，将Scala的执行命令配置到Path...
分类：
其他好文 时间：
2015-09-20 17:31:56
阅读次数：
152
时间2015-06-05 00:00:00JavaChen's Blog原文http://blog.javachen.com/2015/06/05/yarn-memory-and-cpu-configuration.html主题YARNHadoop YARN同时支持内存和CPU两种资源的调度，本文介...
分类：
其他好文 时间：
2015-09-20 13:20:30
阅读次数：
182
筛选算法：关注度权重公式：W=TF*Log(N/DF)TF：当前关键字在该条记录中出现的总次数；N：总的记录数；DF：当前关键字在所有记录中出现的条数；HDFS的namenodeHA和namenodeFederation(1)解决单点故障：使用HDFSHA:通过主备namenode解决；如果主发生故障，则切换到备上。(2)解决..
分类：
其他好文 时间：
2015-09-19 06:18:41
阅读次数：
207
