vim /usr/local/spark/conf/spark-env.shexport SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)export SCALA_HOME=/usr/local/scalaexport JA... ...
分类：
其他好文 时间：
2016-06-26 06:59:10
阅读次数：
486
一、实用网站 1. linux内核版本 www.kernel.org 2. 查看网站服务器使用的系统 www.netcraft.com 二、推荐书籍 1. 《Hadoop权威指南》 1-3版： Hadoop1系列 4版（目前仅有英文原版）：Hadoop2系列 yarn高可用性，HA 2. 《Hive ...
分类：
其他好文 时间：
2016-06-25 10:53:41
阅读次数：
127
新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用... ...
分类：
其他好文 时间：
2016-06-25 08:26:08
阅读次数：
374
1.Hadoop1.0和2.0的区别 1.0 = hdfs + mapreduce 2.0 = hdfs + yarn + mapreduce + other dataprocess 2.软件层次 1. 分布式存储层 HDFS a,良好的扩展性 b,高容错性 c,适合PB以上的数据 组成： mast ...
分类：
其他好文 时间：
2016-06-24 18:42:04
阅读次数：
167
一、代码 二、运行截图 命令：spark-submit --master yarn --jars /opt/test/data/oracle.jdbc_10.2.0.jar --name OracleRead --class com.sgcc.hj.JdbcTest--executor-memory ...
分类：
数据库 时间：
2016-06-21 10:47:04
阅读次数：
1830
资源管理器高可用性 . The ResourceManager (RM) is responsible for tracking the resources in a cluster, and scheduling applications (e.g., MapReduce jobs). Prior ...
分类：
其他好文 时间：
2016-06-16 21:27:19
阅读次数：
212
运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心，构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 ResourceManager提供应用程序的调度，每个应用程序由一个Applicatio ...
分类：
其他好文 时间：
2016-06-10 00:54:18
阅读次数：
488
一，测试环境 1） 硬件环境完全相同： 包括：cpu/内存/网络/磁盘Io/机器数量等 2）软件环境： 相同数据 相同测试用例 3） 不同计算框架，其中spark-sql 都是基于yarn的 4）spark-sql executor内存总量不大于 hive使用内存峰值 二，不同框架在两个测试用例下的 ...
分类：
数据库 时间：
2016-06-06 16:56:54
阅读次数：
761
7 YARN安装过程 在安装HDFS的基础上安装YARN 1）修改mapred-site.xml文件，配置MapReduce 2）修改yarn-env.sh 修改JAVA_HOME值（export JAVA_HOME=/usr/local/java/jdk1.7.0_79） 3）修改yarn-sit ...
分类：
其他好文 时间：
2016-06-06 10:20:30
阅读次数：
162
我们通过提交jar包，进行MapReduce处理，那么整个运行过程分为五个环节： 1、向client端提交MapReduce job. 2、随后yarn的ResourceManager进行资源的分配. 3、由NodeManager进行加载与监控containers. 4、通过applicationM ...
分类：
其他好文 时间：
2016-06-05 01:08:38
阅读次数：
221
