Spark之命令 1.spark运行模式有4种： a.local 多有用测试, b. standalone：spark 集群模式，使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本，支持spark。 d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分...
分类：
其他好文 时间：
2015-08-26 23:54:32
阅读次数：
404
1. windows简单java程序调用Spark，执行Scala开发的Spark程序，这里包含两种模式：
1> 提交任务到Spark集群，使用standAlone模式执行；
2> 提交任务到Yarn集群，使用yarn-client的模式；
2. windows 开发java web程序调用Spark，执行Scala开发的Spark程序，同样包含两种模式，参考1.
3. linux运行java web程序调用Spark，执行Scala开发的Spark程序，包含两种模式，参考1....
分类：
编程语言 时间：
2015-08-26 14:02:57
阅读次数：
309
Hadoop Architecture 的简单介绍 HDFS MapReduce...
分类：
其他好文 时间：
2015-08-25 19:43:15
阅读次数：
146
问题：自己写了一个yarn上的application，发现nodemanager过段时间，会out of memory退出，把nodemanager的heap memory从1G增大到2G也是无法避免NM程序OOM开启NM的jmx监控-Dcom.sun.management.jmxremote -D...
分类：
其他好文 时间：
2015-08-25 15:41:14
阅读次数：
185
ConfigurationProviderFactory结构如下： /** * Creates an instance of {@link ConfigurationProvider} using given * configuration. * @param bootstrapConf * @re...
分类：
Web程序 时间：
2015-08-20 18:30:42
阅读次数：
203
Hadoop命令系列文章共5篇，链接地址如下：
Hadoop之文件系统Shell
Hadoop之命令指南
Hadoop之HDFS命令
Hadoop之MapReduce命令
Hadoop之YARN命令
希望对大家能有所帮助，不正确的地方希望留言讨论。...
分类：
其他好文 时间：
2015-08-20 01:31:22
阅读次数：
163
Hadoop? YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。yarn对于自己运行时作业的资源分配模式有Cap...
分类：
其他好文 时间：
2015-08-19 21:24:59
阅读次数：
285
和yarn-cluster模式一样，整个程序也是通过spark-submit脚本提交的。但是yarn-client作业程序的运行不需要通过Client类来封装启动，而是直接通过反射机制调用作业的main函数。下面就来分析： 1、通过Spa...
分类：
其他好文 时间：
2015-08-19 17:54:06
阅读次数：
416
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。...
分类：
其他好文 时间：
2015-08-19 09:29:03
阅读次数：
241
hadoop mr 或者 spark 操作 hbase时候就出现这个错误
这是hbase的bug,可在jira上看到该问题:https://issues.apache.org/jira/browse/HBASE-10304报错信息:15/08/17 19:28:33 ERROR yarn.ApplicationMaster: User class threw exception: org.apa...
分类：
数据库 时间：
2015-08-18 14:17:11
阅读次数：
530
