hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。 注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-...
分类：
其他好文 时间：
2015-09-09 01:09:32
阅读次数：
255
Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式Spark处于活跃的开发过程中，代码...
分类：
其他好文 时间：
2015-09-08 18:11:27
阅读次数：
304
前言任何系统即使做的再大，都会有可能出现各种各样的突发状况。尽管你可以说我在软件层面上已经做到所有情况的意外处理了，但是万一硬件出问题了或者说物理层面上出了问题，恐怕就不是多写几行代码能够立刻解决的吧，说了这么多，无非就是想强调HA，系统高可用性的重要性。在YARN中，NameNode的HA方式估计很多人都已经了解了，那本篇文章就来为大家梳理梳理RM资源管理器HA方面的知识，并不是指简单的RM的H...
分类：
其他好文 时间：
2015-09-06 06:24:14
阅读次数：
390
错误信息如下：15/09/05 03:48:02 INFO mapreduce.Job: Job job_1441395011668_0001 failed with state FAILED due to: Application application_1441395011668_0001 fa...
分类：
其他好文 时间：
2015-09-04 21:14:33
阅读次数：
382
从官方的文档我们可以知道，Spark的部署方式有很多种：local、Standalone、Mesos、YARN.....不同部署方式的后台处理进程是不一样的，但是如果我们从代码的角度来看，其实流程都差不多。 从代码中，我们可以...
分类：
其他好文 时间：
2015-09-02 16:03:31
阅读次数：
216
前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分成了ResourceManager和NodeManager这样的结构,在每个节点上,还会有ApplicationMaster来管理应用程序的整个生命周期,的确在Yarn中,多了许多优秀的设...
分类：
移动开发 时间：
2015-08-31 23:40:56
阅读次数：
276
1.spark on yarn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * Created by zzy on 8/27/15. */ object SaprkOnYarn { d...
分类：
其他好文 时间：
2015-08-28 00:46:31
阅读次数：
151
Spark之命令 1.spark运行模式有4种： a.local 多有用测试, b. standalone：spark 集群模式，使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本，支持spark。 d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分...
分类：
其他好文 时间：
2015-08-26 23:54:32
阅读次数：
404
1. windows简单java程序调用Spark，执行Scala开发的Spark程序，这里包含两种模式：
1> 提交任务到Spark集群，使用standAlone模式执行；
2> 提交任务到Yarn集群，使用yarn-client的模式；
2. windows 开发java web程序调用Spark，执行Scala开发的Spark程序，同样包含两种模式，参考1.
3. linux运行java web程序调用Spark，执行Scala开发的Spark程序，包含两种模式，参考1....
分类：
编程语言 时间：
2015-08-26 14:02:57
阅读次数：
309
Hadoop Architecture 的简单介绍 HDFS MapReduce...
分类：
其他好文 时间：
2015-08-25 19:43:15
阅读次数：
146
